🎤 [삼시세질문] AI - 1

Q. Batch Normalization이 무엇이고 이를 사용하는 이유는?

• 미니배치 단위로 입력을 정규분포(평균 = 0, 분산 = 1)를 따르도록 정규화한다.
  • 스케일(scale)과 시프트(shift) 변환 가능하다.
• 효과 1 : 기울기 소실/폭발 문제가 해결되어 큰 학습률을 설정해 학습속도를 증가시킬 수 있다.
• 효과 2 : 일반화(Regulazation) 효과 있다.
• 단 추론 시에는 전체 데이터셋에 대한 평균과 분산을 계산해 적용해야한다.

Q. Dropout이란? 그 효과는?

• 과적합을 방지하기 위한 정규화 방법 중 하나
• 학습 과정 중 무작위로 일부 뉴런을 비활성화(출력을 0으로)시킨다.

Q. Forward Propagation과 Back Propagation이 무엇이고 그 차이점은 무엇인가?

• Forward Propagation은 입력 데이터를 신경망의 각 레이어에 전달하고 처리하여 최종 출력을 생성하는 과정이다.
• BackPropagation은 손실 함수를 통해 계산된 오차를 역으로 전파시키면서 각 레이어의 가중치를 업데이트하는 과정이고 이 때 Chain Rule이 사용된다.
  • 각 층의 가중치는 오차를 줄이는 방향으로 조정된다.