chap 2_ 스터디 정리

1. 가중치란?

신경망에서 입력값이 출력에 미치는 영향을 조절하는 값

각 입력 노드의 중요도를 결정하는 계수

입력값이 최종 결과에 얼마나 영향을 미치는지 결정하는 요소

학습 과정에서 최적의 값을 찾아가는 과정을 거쳐 결정됨

• 초기에는 랜덤 값으로 설정됨
• 손실 함수(Loss Function) 를 이용해 예측값과 실제값의 차이를 계산
• 경사 하강법(Gradient Descent) 을 사용하여 손실을 최소화하는 방향으로 가중치를 조정함

최적의 가중치를 찾으면 모델이 더 좋은 예측을 함

 

2. Early Stopping

Early Stopping은 과적합(Overfitting)을 방지하기 위해, 검증 성능이 더 이상 좋아지지 않으면 학습을 조기에 중단함

# Early Stopping 코드 (patience=5, 검증 손실이 5번 연속 증가하면 멈춤)
early_stopping = EarlyStopping(monitor='val_loss', patience=5, restore_best_weights=True)

 

3. epoch

반복 횟수를 말하는 것 = 얼마나 반복해 학습할지

교재 1회 다 읽을 경우 = 1 epoch

교재 3회 다 읽을 경우 = 3 epoch

 

4. 미분 기울기

기울기가 크면 변화가 급격하고, 작으면 변화가 완만함

• 기울기가 클 때: 롤러코스터가 급경사로 내려가는 구간 → 변화가 빠름!
• 기울기가 작을 때: 롤러코스터가 평평한 구간 → 거의 변화 없음!

적당해야 최적의 지점을 찾기 좋음

 

5. 기울기 vs 가중치

기울기

가중치를 업데이트하는 값

가중치

모델이 학습하는 값, 입력이 결과에 미치는 영향을 조절하는 변수

 

6. 기울기가 커지면 오차가 클까?

기울기가 크다는 것은 손실 함수의 변화가 크다는 것

손실 함수 값이 크면 오차도 클 가능성이 높음

 

7. k-fold 교차 검증을 사용하지 않으면 일반화된 모델을 만들기 어려울까?

k-fold 교차 검증은 안정적인 성능을 위한 것일 뿐 사용하지 않아도 됨

모델이 다양한 데이터에서 평가되므로 신뢰할 수 있는 성능을 얻을 수 있음

• 사용하지 않을 경우에는?
  1. 데이터 편향으로 데이터가 한쪽에 치우쳐 모델이 일반화되지 않을 수 있음
  2. 데이터가 적으면 학습이 불안정할 수 있음, 평가를 많이 할 수 없기 때문

 

** 잘못된 정보가 있다면 댓글 부탁드립니다!