'Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks' 논문에서 소개하고 있는 Model-Agnostic Meta-Learning(MAML)이란 무엇인지 간단하게 소개하는 글입니다.
자세한 알고리즘 설명은 다음 포스트에서 진행할 예정입니다.

Abtract

• 이 논문은 모델에 관계 없이 적용 가능한(model-agnostic) meta-learning 알고리즘을 제안한다.
• 이 알고리즘은 Gradient descent로 훈련된 모든 모델과 호환되며 분류, 회귀, 강화 학습 등 다양한 학습 문제에 적용될 수 있다.

meta-learning의 목표

다양한 task에 대해 모델을 훈련시켜 소수의 training sample만으로 새로운 task를 해결할 수 있도록 하는 것

• 해당 논문에서는 모델의 파라미터들을 명시적으로 학습시켜, 새로운 task에서 적은 양의 학습 데이터로 소수의 gradient steps를 통해 해당 task에서 좋은 일반화 성능을 내도록 하는 방법론을 소개한다.

성능

• 두 개의 few-shot 이미지 분류 벤치마크에서 SOTA 성능을 보임.
• few-shot 회귀 task에서 좋은 결과를 도출해냄.
• 신경망 policies로 policy gradient 강화 학습을 위한 fine-tuning을 더 빠르게 진행할 수 있게 함.

---

1. Introduction

AI 에이전트는 인간처럼 몇 가지 예문만으로 빠르게 학습하고 데이터가 확보됨에 따라 계속해서 적응할 수 있어야 한다.
이러한 빠르고 유연한 학습은 쉽지 않다.

• 에이전트는 새로운 데이터에 과적합되지 않으면서 이전 경험을 소량의 새로운 정보와 통합해야 하기 때문이다.
• 또한, 이전 경험과 새로운 데이터의 형태는 task에 따라 달라질 것이기에 다루기 까다롭다.

따라서 학습(또는 meta-learning) 메커니즘이 task와 task 수행에 필요한 계산 형태에 general하게 적용되도록 해야 한다.

• gradient descent 과정으로 훈련되는 모든 모델에 적용할 수 있는 방법론을 제안한다. 우선, 이 논문의 초점은 심층 신경망 모델에 맞춰져있지만, 최소한의 수정으로 분류, 회귀, 정책 그래디언트 강화 학습과 같은 다양한 문제도 쉽게 다룰 수 있음을 설명할 수 있다.

The key idea

모델의 초기 파라미터들을 훈련하여 새로운 task에서의 소량의 데이터로 계산된 하나 이상의 gradient steps를 통해 매개 변수를 업데이트 한 후, 모델이 최대 성능을 발휘하도록 하는 것.

• 업데이트 함수 도는 학습 규칙을 학습하는 이전의 meta-learning 방법과 달리, 이 논문에서 소개하는 알고리즘은 학습된 매개변수의 수를 늘리거나 모델 구조에 제약을 두지 않는다.
• 이는 fully connected, convolutional, or recurrent neural networks와 쉽게 결합할 수 있다.

적은 수의 gradient 업데이트만으로도 새로운 task에 대한 빠른 학습이 가능하도록 모델의 매개변수를 학습하는 것.