📖 학습한 내용

• MLP - 가중치 업데이트
• CNN

📖 핵심내용

📌 MLP - 가중치 업데이트

경사하강법

1. 전체 데이터 경사 하강법 (Batch Gradient Descent):
   전체 데이터셋을 사용하여 매번 파라미터를 업데이트합니다.

2. 확률적 경사 하강법 (Stochastic Gradient Descent, SGD):
   각 업데이트 단계에서 무작위로 선택된 하나의 데이터 포인트를 사용하여 경사를 계산하고 파라미터를 업데이트합니다.

3. 미니배치 경사 하강법 (Mini-Batch Gradient Descent):
   전체 데이터셋을 작은 배치로 나누어 각 배치에 대해 경사를 계산하고 파라미터를 업데이트합니다.

옵티마이저

• 옵티마이저 종류
  SGD, ADAM, RMproof

경사손실

-> 중간에 f를 z로 편미분하는데, 활성화함수가 시그모이드일때 0에서 크게 떨어진 값이면 기울기가 0에 가까워진다. 따라서 이런 과정이 반복되면 값 자체가 0으로 가서 가중치 업데이트가 일어나지 않는다.
또한 미분의 최대치가 0.3밖에되지 않는다.

• 렐루도 음수일때는 기울기 소실이 일어난다. 하지만 문제가 생기지 않는다.

정규화

1. L1 규제 - 가중치를 0으로 만들수 있는 규제
2. L2 규제 - 가중치를 0에 가깝게 만드는 규제
3. 드랍아웃
   훈련에서는 몇몇 노드 비활성화하고, 실제 테스트에서는 전체 세트로한다.

일반화

정규화의 상위 개념

NN 학습 프로세스

• 순전파
• 활성화 함수 : 계산이 빨라야한다. 비선형이여야한다. 미분시 경사소실 나면 안된다
• 손실함수 :
• 역전파 : 체인룰
• 경사하강법 : 옵티마이져, 러닝레이트
• 과적합 : 드랍아웃, 정규화
• 정규화 일반화 :

📌 CNN

합성곱

• 피처 러닝
  
  예측성능에 기여하는 피처들이 추출된다.
  벡터스페이스 안에서 요소들의 값을 위치시는컷

• 클래시피케이션
  
  데이터의 잘대표하는 경계면을 찾는 과정

• 리쉐입
  함축된 공간정보를

FNN과 CNN 이미지 처리

• FNN 단점
  공간정보 (이웃 픽셀 정보)를 잘 활용하지 못함
  파라미터 수가 많아짐

• CNN 장점
  특징 추출 -> 공간정보 활용 추출 유리
  파라미터의 수 감소 -> 과적합 감소

CNN 원리이해

이미지 정부 추출을 위해서 filter(kernel)적용
필터가 stride(이동스텝) 옆으로 아래로 이동시키면서 정보를 추출한다.
필터가 여러개일 수 있지만 가중치를 공유한다. -> 파라미터 수가 감소한다.

• 필터가 다니면서 합성곱으로 다시 행렬을 만든다

• activation map
  feature map, response map 모두 같은 용어다
  필터를 거친 값이 활성화 함수를 거친 맵이다.