머신러닝 35 ~ 42

RNN

활성화함수로 tanh 함수 사용
은닉층의 출력값이 다시 순환되어 은닉층의 입력값으로 들어감 -> 순환 신경망
=>
1. 내부적으로 순환 되는 구조
2. 순서(sequence)가 있는 데이터를 처리하는데 강점을 가진 신경망
=>
RNN은 과거의 데이터를 알기 위해
1. 은닉층내에 순환 구조를 이용하여 과거의 데이터 기억
2. 새롭게 입력으로 주어지는 데이터와 은닉층에서 기억하고 있는 과거 데이터를 연결 시켜 그 의미를 알아냄 +

문장이나 음성 같은 순서가 있는 데이터라는 것은, 시간의 경과에 따라서 데이터가 순차적으로 들어온다는 것과 같은 의미

학습 데이터를 구성하고 있는 unique 문자를 숫자로 나타낸 후, 이러한 숫자를 one-hot 방식으로 변환하는 것이 순서가 있는 데이터를 학습하는 RNN에서의 일반적인 방법

Transfer Learning(전이학습)

• 실무에서는 고해상도 컬러 이미지를 학습하는 경우, CNN 아키텍처를 구축하고 임의의 값으로 초기화된 파라미터 값(가중치, bias 등)들을 처음부터 학습시키지 않고
• 대신 이미 학습되어 있는 모델의 가중치와 bias를 자신의 데이터로 transfer(전달)하여 빠르게 학습하는 방법이 일반적
• 최고의 성능을 나타내는 ResNet(Ms), GoogLeNet(구글) Tool을 이용하여 우리가 분석하고자 하는 데이터에 미세조정, 즉 Fine Tuning으로 불리는 작은 변화만을 주어 학습시키는 방법을 Trnsfer Learning 이라함