[혼공머신] 3주차!

날씨가 어떻게 청기백기 

기온이 좀 떨어지길 바라긴 했는데 폭우가 올 줄은 몰랐어.

저는 등하교를 기차로 하는데 하필 시험 보는 기간에 운행 중지되는 바람에

아빠 찬스를 썼습니다....

이 글 쓰는 지금은 또 덥네요

 

 

요즘 `괴담에 떨어져도 출근을 해야 하는구나`라는 소설을 정말 카카오페이지 뷰어가 낡도록 읽고 있는데요

너무 좋아해서 심심할 때 작중 등장하는 연구소 홈페이지 만들어본 정도?

다른 괴담 찾아서 읽고 있는데 갑자기 컴퓨터 관련된 괴담도 있나 궁금하더라고요?

하나 찾긴 했는데요...

지금은 사라진 유니코드인데 텍스트로 입력하고 그 파일을 저장한 다음에 다시 열어보면 魂자가 나온다는...

ㅋㅋㅋㅋㅋ

원래 괴담에는 몇 년도에 있던 유니코드인지 적혀있었는데 까먹었어요

but 하나하나 따져보자면~

유니코드 그 정도로 개편한 적 없음

 

(1) BOM 

bom 때문에 에디터가 잘못 읽어서 한자가 나온 경우

(2) fallback

특정 코드는 못 읽어서 fallback으로 한자 표시

(3) 로컬라이징 버그

공용 코드포인트 충돌 

 

다른 이유가 있을수도 있겠지만? 괴담 종결났네요 감사감사합니다

 

 

 

아니 요즘 블로그에 댓글 달아주시는 분들 댓글들이 자꾸 스팸으로 이동하네요..

제가 볼 때마다 돌려놓고 있습니다 (´▽`ʃ♡ƪ)

 

---

제일 좋아하는 부분 시작

 

04-1 로지스틱 회귀

완전 중요!

- 분류 모델

- 선형 회귀와 비슷하지만 다른 점:

선형 회귀는 숫자를 예측하고 결과는 실수,

로지스틱 회귀는 둘 중 하나를 예측하는 것. (0과 1로 표현)

- 하는 일 요약:

입력 값(x) 받아서 가중치(w) 곱하고 더한 뒤 시그모이드를 이용

-> 결과가 0.5 이상이면 1로, 아니면 0

 

 

시그모이드

- 로지스틱 회귀의 핵심 

- 0~1 사이 값으로 변환

- 0.5 이상이면 클래스 1, 아니면 클래스 0으로 분류​

- 2가지를 비교해야 하는 경우 사용, 이진 분류 (Binary Classification)

 

 

소프트맥스

- z1, z2, z3, ..., zn의 점수를 확률로 변환

- 각 확률의 합은 1

- 다중 클래스 분류에 사용함 (Multi-class Classification)

 

 

**로지스틱 회귀는 보통 간단한 문제에서 사용함

입력 feature가 적고 데이터도 작을 때 최적

입력 데이터가 이미지나 음성, 영상처럼 고차원일 때는 혼자 못 쓰지만,

CNN, RNN, Transformer가 feature를 추출하고 마지막에 클래스 확률을 계산할 때는 쓰임

계산이 빠르고, 데이터 작아도 잘 실행됨

 

 

 

 

 

 

04-2 확률적 경사 하강법(SGD, Stochastic Gradient Descent)

loss를 줄여야 함!

-> 손실 함수의 기울기를 따라 내려가면서 최솟값을 찾음

 

그럼 `확률적`이라는 이름이 붙는 이유는?

- 일반적인 경사하강법(Batch GD)의 경우에는 전체 데이터로 한 번에 기울기를 계산

-> 느리고 메모리를 많이 씀

- 확률적 경사하강법(SGD)은 데이터 1개 또는 소량을 랜덤으로 뽑아서 기울기를 계산

-> 빠르고 가벼움 

 

w=w−η⋅∇L(w)

 

• η\etaη: 학습률(learning rate)
• ∇L(w)\nabla L(w)∇L(w): 손실 함수의 기울기

배치 GD는 모든 데이터로 ∇L(w)\nabla L(w)∇L(w) 계산
SGD는 샘플 1개로 계산
Mini-batch SGD는 샘플 묶음(M개)으로 계산

 

 

 

 

 

 

 

로지스틱 손실 함수(Cross Entropy Loss)

로지스틱 회귀는 확률을 뽑아내는 모델, 

로지스틱 손실 함수는 이 확률을 기준으로 얼마나 틀렸는지 계산

 

L(y,y^​)=−[y⋅log(y^​)+(1−y)⋅log(1−y^​)]

 

• y: 실제 라벨 (0 또는 1)
• y^​: 예측 확률 (시그모이드 결과)
• y=1일 때 y^가 1에 가까울수록 손실이 적고, 0에 가까울수록 손실이 높아짐
• y=0일 때는 반대

MSE(Mean Squared Error)는 로지스틱 회귀에서는 잘 맞지 않아서

확률적 해석에도 잘 맞는 Log Loss를 사용!

 

 

 

 

 

 

**중요한 요소 3가지**

1. Epoch(에포크)

데이터셋 전체를 한 번 학습하는 것

10 epoch = 전체 데이터셋을 10번 학습함

과도할 경우에는 overfitting(과적합) 위험

 

 

2. Weight(가중치)

입력(feature)마다 값이 곱해짐

학습을 통해 weight를 계속 조정하며 성능을 높임

== 모델이 학습하는 값

 

 

3. Hidden Layer(은닉층)

입력층(input), 출력층(output) 사이의 층

 

 

 

 

 

 

 

---

 

기본 과제!

 

p. 208

2. 로지스틱 회귀가 이진 분류에서 확률을 출력하기 위해 사용하는 함수는?

1 시그모이드 함수

2 소프트맥스 함수

3 로그 함수

4 지수 함수

 

당연히 1번입니다~