📍 Meta-Learning: Learning to Learn Fast

❗️개념을 정리하기 위해 작성한 글로, 내용상 잘못된 부분이 있을 수 있다는 점 참고 바랍니다.

이번주는 Meta-Learning에 대해 정리된 블로그를 읽고 전반적인 내용을 공부했다. 워낙 내용이 방대해 새로 글을 작성하면 시간이 오래 걸릴 것 같아 내용 정리를 위해 만들었던 PPT 슬라이드를 첨부할 것이다.

---

• FOMAML

  $L^{(1)}$, $L^{(0)}$ : 같은 task 내에서 다른 batch로 구한 손실

  • 기존 : $(t-1)$번째까지 loss가 업데이트되는 과정을 연속적으로 구하고 $t$번째 task에 대해 새로운 배치 샘플을 사용해 해당 task에 대한 파라미터를 구함
  • FOMAML : $(t-1)$번째 task에서 구한 loss만 사용해 $t$번째 task에 대해 새로운 배치 샘플에 대해 해당 task에 대한 파라미터를 구함

• Reptile
  각 task에 n번 정도의 SGD 또는 미니배치 SGD를 사용해 모델을 학습시키고, 이렇게 얻은 각 task의 𝜃’와 초기 𝜃 사이의 거리를 줄이는 방향으로 𝜃 최적화함
  ⇔ Task가 각각의 매니폴드 공간 상에 있다고 가정했을 때, 각 매니폴드 공간과의 거리가 평균적으로 가장 가까운 위치에 초기 파라미터가 세팅되도록 학습

---

References

📍 [DL] Meta-Learning: Learning to Learn Fast
ㄴ 영문 블로그를 그대로 해석해주셔서 공부할 때 큰 도움이 되었다 !
📍 Few-shot Learning
📍 [Deep Learning] Few shot Learning, Meta learning 개념 총정리
📍 Meta-Learning
📍 [10주차] (MAML) Model-agnostic Meta Learning for Fast Adaptation of Deep Networks 논문 리뷰
📍 Meta Learning With Medical Imaging and Health Informatics Applicaitons(CH5. Model-based meta learning)
📍 Meta-Learning: An Overview and Applications
📍 Meta-Learning과 MAML의 개념 정리
📍 From zero to research - An introduction to Meta-learning
📍 [Meta-Learning] 1. 메타, 메타러닝이란 뭘까?
📍 [논문 리뷰] Matching Networks for one shot learning
📍 [논문 리뷰] Learning to Compare: Relation Network for Few-Shot Learning
📍 Meta-003, Meta-Learning with Memory-Augmented Neural Networks (2016-JMLR)
📍 Long Short-Term Memory (LSTM) 이해하기
📍 Neural Turing Machines 분석
📍 [meta] (paper 1) Meta learning with Memory Augmented Neural Networks
📍 Meta-Learning with Memory Augmented Neural Networks
📍 Meta-Learning 2. Optimization as a model for few-shot learning
📍 On First-Order Meta-Learning Algorithms
📍 [meta] Meta Learning 소개
📍 META_LEARNING IS ALL YOU NEED
📍 Meta learning with memory augmented neural network

---

Meta-Learning에 대한 개념이 아직 모호하기도 하고, 특히 Model-based approach의 MANN에서 이해가 안되는 내용이 많아 CS294를 추가적으로 공부할 예정이다.