딥러닝의 주요 스킬

딥러닝의 주요 스킬

Data augmentation( 데이터 증강기법 )

과적합을 해결할 가장 좋은 방법으로, 데이터의 개수를 늘리는 방법.

• 실무에서는 데이터가 넘쳐나기는 커녕 부족한 경우가 많다.
• 부족한 데이터를 보충하기 위해 사용한다.
• 이미지 처리 분야의 딥러닝에서 주로 사용하는 기법
  
• 딥러닝 모델도 어떤 사진을 보아도 사람이 보는것처럼 인식할 수 있게하는 것.

  사람이 보았을 때 어느 것을 보아도 사자로 보이는것처럼, 모델도 동일하게 사자로 느낄 수 있게.

• 원본 이미지 한장을 여러가지 방법으로 복사하는 방법.

Dropout (드랍아웃)

과적합을 해결할 수 있는 가장 간단한 방법, 각 노드들이 이어진 선을 빼서 없애버리는 방식.

• 각 배치마다 랜덤한 노드를 끊어버린다.
• 다음 노드로 전달할 때 랜덤하게 출력을 0으로 만들어버리는 것과 같다.

  

위와 같이 많은 노드들이 있다고 가정했을 때,
이들 중 일부만 사용해도 충분히 결과를 낼 수 있고,
이들 중에서 충분할만큼의 전문가만 선출해서 반복적으로 결과를 낸다면, 
오히려 균형잡힌 결과가 나올 가능성이 높다.

Ensemble (앙상블)

• 앙상블 기법은 컴퓨팅 파워만 충분하다면 가장 시도해보기 쉬운 방법.
• 여러개의 딥러닝 모델을 만들어 각각 학습시킨 후 각각의 모델에서 나온 출력을 기반으로 투표를 하는 방법.
• 랜덤 포레스트의 기법과 비슷하다.
  

여러개의 모델에서 나온 출력에서 다수결로 
투표(Majority voting)를 하는 방법도 있고, 
평균값을 구하는 방법도 있고, 마지막에 결정하는 레이어를 붙이는 경우 
등 다양한 방법으로 응용이 가능하다.

Learning rate decay (Learning rate schedules)

Local minimum에 빠르게 도달하고 싶을 때 사용.

• Learning rate를 초반에 크게 잡고, 조금씩 줄이는 방식.
  

효과적으로 Local minimum에 접근을 할 수있게 한다.