MAML

소스 코드 : GitHub

다양한 task들의 딥러닝 알고리즘에서 큰 데이터셋이 필요하다. 하지만 실제 당면한 task에서는 데이터셋을 수집하는 것이 매우 어려운 경우가 존재한다. 예로 일반 주행도로의 이미지는 쉽게 얻을 수 있을지 모르겠으나, 눈이나 비가 오거나 천둥이 치는 날에 구급차가 이동하는 이미지나 안개가 낀 도로에서 사람이 걸어가는 등의 이미지는 구하기가 쉽지가 않다.
학습할 수 있는 학습 데이터의 샘플이 굉장히 적은 상태에서도 원하는 task를 수행하는 것을 few-shot learning이라고 하는데, few-shot learning은 fast adaptation이 되어야 적용 및 문제 해결이 가능하다.

Meta-Learning은 few-shot learning task를 잘 수행하기 위한 방법으로, 어떻게 학습할지를 학습하는 방법이다. 위의 예로 안개가 낀 도로에서 사람이나 다른 객체가 도출이 되었을 때 어떻게 자율주행에서 작동을 하는지 등의 판단을 내리도록 한다.

data set은 아래 그림과 같이, 녹색 박스 안의 training data set을 보고 test set을 판단할 수 있도록 구성한 여러 개의 데이터들을 모아서 만든 train set을 구성한다.
그리고 test를 할 때에는 training set에서 학습시키지 않은 클래스를 가지고 와서 test를 진행한다.

MAML은 fast adaptation을 할 수 있는 모델의 initail parameter를 찾는 것이 목표다. 아래의 그림에서 세타는 모델의 initail parameter를 말하는데, 적은 데이터를 통해서도 어떤 tesk라도 빠르게 접근할 수 있는 initail parameter를 찾겠다는 것이다.

아래는 MAML의 알로리즘으로 2중 반복문을 통해서 설명이 되어 있다.