[파이널] Few Shot Learning , 메타 러닝

Few Shot Learing

딥러닝은 데이터의 양이 많은 수록 학습을 잘한다.
여기에는 다양하고 품질이 우수한 데이터와 막대한 컴퓨팅 자원이 필요하다.
기계는 소량의 데이터로는 학습할 수 없을까??

퓨샷 러닝

데이터수가 매우 적을 때 활용되는방법이며,
퓨삿 러닝시에는 훈련용 서포트 데이터(Support data) 와 테스트용 쿼리 데이터(query data) 로 데이터가 활용된다.
퓨샷러닝 태스크 : 'N-wat K-shot'
N 은 범주의 수, K는 범주별 서포트 데이터의 수이다.
Ex) 2-way, 5-shot : 2가지 범주 분류, 5가지 트레인 셋

N의 값이 커질수록 모델의 성능은 낮아진다.
그리고 K가 많을 수록 모델의 성능이 올라가는데, 퓨샷러닝은 K가 매우 작은 상황에서의 모델 학습을 말한다.

즉, 퓨샷 러닝 모델의 성능은 N과 반비례하며 K와는 비례하는 관계이다.

벤치마크(benchmark) 실험에서는 N은 10개 이하, K를 1개 또는 5개로 설정한다. 쿼리 데이터는 범주당 15개가 주로 활용된다.

메타 러닝

메타러닝은 데이터의 패턴을 정해진 프로세스로 학습하는 것이 아니라, 데이터의 특성에 맞춰서 모델 네트워크의 구조를 변화시키면서 학습한다.
즉, 배우는 방법을 배우는 것! (Learning to Learn)

• 하이퍼파라메터 최적화, 자동 신경망 네트워크설계 등에 사용된다.

• 메타러닝은 퓨샷 러닝을 해결하기 위한 기반 알고리즘이다.

참고
퓨샷러닝과 관련하여
메라 러닝- 적은 데이터로도 성능은 강력하게