# meta learning

kowoonho

Abstract 본 논문에서 제시한 모델은 MAML(Model-agnostic Meta learning)로 말 그대로 Model-agnostic한 Meta-Learning 알고리즘이다. Model-agnostic? 모델에 상관없다는 뜻으로, 논문에서는 두가지 이유로 이 알고리즘을 model-agnostic하다고 정의하였다. Gradient descent로 학습된 어느 모델에나 적용될 수 있다. Classification, regression, reinforcementa learning과 같은 다양한 task에 대해 적용이 가능하다. Meta-learning의 목표는 모델을 다양한 task에 대해서 학습을 시켜서 새로운 task를 접했을 때, 적은 학습 데이터만으로도 학습이 빠르게 가능한 모델을 만드는 것을 목표로 한다. MAML은 이러한 목표를 위해 parameter들을 학습

shinunjune

1. Introduction MAML, one of the most popular optimization based meta-learning algorithm. Former MAML Imporved by Preconditioned Gradient Descent(PGD) for inner loop optimization Meta learns not only initialization parameters of models but also meta-parameters of preconditioner $P$. $P$ was adapted with innder-step k or with individual task separately, thus Riemman metric condition cannot be satisfied. Riemman metric : A condition that the steepest gradient descent c

shinunjune

1. Introduction  Proposing general and model-agnostic meta-learning algorithm. 2. Model-Agnostic Meta-Learning(MAML)  2.1. Meta learning scenario   Meta-training part A task $T_{i}$ is drawn from task distribution $p(T)$. With $Ti$, the model is trained with only $K$ samples drawn from $qi$, and feedback from $L_i$ ($K$-shot learning) Tested on new samples from $T_i$ and this test error is considered when imporving parameters.(Thus this test error s

jjy0328

현대의 ML/DL 오늘날의 로봇이 커피를 따르거나, 퍼즐을 맞추는 등의 과제를 할 수 있습니다. 이러한 과제를 수행하기까지는 작은 행동 하나라도 인간의 많은 노력과 시간, 그리고 데이터가 필요합니다. 그러나 퍼즐만 맞추는 로봇에게 공놀이를 시킨다면? 당연히 로봇은 부여받은 과제를 해내지 못할 겁니다. 그리고 이 과제를 과제를 수행하기 위해선, 또 다시 많은 노력과 시간, 데이터가 필요해집니다. 처음부터 학습시켜야 하니까요. 이는 음성 인식, object detection도 마찬가지입니다. 따라서 실생활에 쓰이는 로봇은 여러 가지 다른 작업에 대해 훈련된 시스템을 사용합니다. 왜 multi-task learning이 필요할까? 희귀 언어의 번역, 개인 맞춤 교육같이 데이터가 많이 없는 경우

jjy0328

stanford 강의 정리한 글입니다. (출처 : Deep Multi-Task & Meta Learning - What is multi-task learning I 2022 I Lecture 1) About Lecture course website : www.cs330.stanford.edu index 멀티태스킹 학습을 위한 현대적인 딥러닝 PyTorch로 구현과 작동법 이해 만드는 방법에 관련된 간략한 설명 topic multi-task learning, transfer learning basics Meta-learning algorithms (black-box, optimization, metric) Advanced meta-learning topics Unsupervised

applailab

안녕하세요. 이번에는 저희 Applied AI Lab.에서 KDD 2019에 출판한 MeLU(Meta-Learned User preference estimator)라는 논문을 소개하려고 합니다. 이 글에서는 파인만 알고리즘에 따라 1) 저희가 푼 문제에 대한 설명, 2) 이런 아이디어를 생각하게 된 사고 과정, 그리고 3) 최종적으로 저희가 문제에 대한 답을 어떻게 써내려갔는지에 대해서 소개드리고자 합니다. 실험 결과에 대해서는 이 글에서 언급하지 않을 예정이니, 논문을 통해 확인 부탁드리겠습니다. Write down the problem 저희는 추천 시스템을 공부하면서 '사람들마다 각기 다른 생각을 가지고 있는데 왜 추천 시스템은 모두에게 동일한 아이템을 추천할까?' 하는 호기심이 생겼습니다. 예를 들어, 영화 '인터스텔라'를 본 두 사람 A와 B가 있고, A라는 사람은

dongyoungkim

🐰 Dongyoung: >GPT3 의 in-context learning 에 대해 설명해줘 > 🦄 ChatGPT: >GPT-3(Generative Pre-trained Transformer 3)은 기계 학습을 사용하여 사람과 유사한 텍스트를 생성하는 언어 모델입니다. GPT-3의 고유한 기능 중 하나는 컨텍스트 학습을 수행하는 기능입니다. 즉, 주어진 프롬프트나 컨텍스트에서 학습하고 해당 컨텍스트와 관련된 텍스트를 생성할 수 있습니다. > In-context learning은 "프롬프트 엔지니어링"이라는 기술을 통해 이루어집니다. 사용자가 프롬프트를 입력하면 GPT-3는 텍스트를 분석하여 컨텍스트를 이해하고 관련 출력을 생성합니다. 예를 들어, 사용자가 "오늘 기분이 슬프다"라는 프롬프트를 입력하면 GPT-3는 "그 말을 들으니 유감입니다. 제가 도와드릴 일이 있을까요?"와 같은 출력을 생성할 수 있습니다. 이는 GPT-3가 방대한 텍스트 코퍼스에 대해 교육을 받

mhkim9714

풀고자 하는 문제 로봇 분야에서는 sim2real이 큰 문제임. 특히나 환경이 조금 바뀌어도 크게 영향을 받는 민감한 task들에 대해서 성공적으로 simulation에서 학습된 강화 알고리즘을 실제 환경에 적용시키기 위해 reality gap을 해결해야 한다. 이 논문은 로봇 하키를 위한 강화학습 알고리즘에 기반하여 쓰여졌는데, 여기서 다양한 환경이란 puck과 지면 사이의 마찰력을 의미한다.(unknown parameter values) Main contributions Policy simplification (+ latent space modeling) 기존에 policy라 함은 한 state가 주어졌을 때 그에 해당하는 적절한 action을 내뱉는 방식으로 모델링되는데,

mhkim9714

풀고자 하는 문제 Trained 모델이 new task에 대해 fine-tuning 되는 과정을 가속화시켜줌. 즉, new task에 대해 fine-tuning 될 때 새로운 데이터가 많이 필요 없음. 다시 말해 few-shot learning의 범주에 든다고 생각하면 됨 (Few-shot & Rapid adaptation) 논문에 쓰인 구절을 차용하자면, our artificial agents should be able to learn and adapt quickly from only a few examples, and continue to adapt as more data becomes available! Main contributions Train the model's initial parameters such that the model has maximal performance on a new task after the parameters have been u

gunny1254

1. Introduction 1.1 최근 딥러닝 최근에는 Deep Learning의 눈부신 발전에 따라 다들 아시다시피, Text, Adudio, Image 등 전 분야에서 괄목할 만한 성능 향상을 볼 수 있습니다. 하지만 여기에는 가볍게 생각을 할 수 없는 한계점이 존재하는데, Text, Audio, Image 데이터를 다루는 모델들은 하나같이 모두 대용량 데이터를 필요로 한다는 것 입니다. 해결하고자하는 task에 맞춰진 정제된 데이터를 구하기는 쉽지않고, 지도학습 문제를 풀려고하면 label까지 있어야하니 데이터 구축은 더욱 어렵다는 문제가 있습니다. 따라서, 최근에는 이와 같은 문제점들을 해결하기 위해 Data Dependency를 낮추려고하는 연구들이 수행되고 있습니다. 1) Semi-

sjinu

메타 러닝에서 파라미터 개수를 얼마나 늘릴 수 있을까? Paper: https://openreview.net/pdf?id=-KU_e4Biu0 머신러닝에서 궁극적인 목표는 데이터가 적을 때도 잘 작동할 수 있는 generalizable model을 만드는 것. 이를 위해서 파라미터 개수를 과하게 늘리는 overparameterization이 좋은 역할을 할 수 있다고 생각함. 특히, 본 연구에서는 메타러닝을 위한 overparameterization을 다룰 것(데이터가 적기에 파라미터도 작아야 된다는 과거의 통설과 배치될 수 있음). (1) 학습을 위한 태스크들이 주어졌을 때, downstream 태스크에 알맞는 optimal linear representation을 찾을 수 있을까? 이는 일종의 task-기반 regularization으로 해석할 수 있음. 이 regularization은 ind

sjinu

Paper: https://openreview.net/forum?id=umIdUL8rMH 굉장히 적은 데이터로 잘 작동할 수 있는 딥러닝 모델을 만들 수 있는 메타러닝(or Few-shot learning)은 광범위하게 연구되는 중. 그 중 지배적인 방법은 MAML(Model-Agnostic Meta Learning)인데, 이는 대표적으로 Classifier head(의 gradienet)를 이용한 학습 방법. https://velog.io/@sjinu/Few-Shot-Learning 이 모델은 주로 inner roop와 outer roop로 나눠서 살펴볼 수 있음. inner roop : 주어진 task를 통해 model의 body(즉, extra

rnjsdb72

GAN(Generative Adversarial Networks) Generator와 Discriminator가 서로 대립적(Adversarial)으로 학습해가며 점차 성능 개선 Generator는 데이터 생성 Discriminator을 최대한 속이려고 노력 Discriminator는 만들어진 데이터 평가 진짜와 가짜 데이터를 구분하려고 노력 Minimax Problem Generator은 Minimize를 위해 노력하고 Discriminator은 maximize하려고 노력 Discriminator은 $D(X)=1, D(G(z))=0$일 때 최대(진짜 데이터를 1, 가짜 데이터를 0으로 예측) Generator은 $D(G(z))=1$일 때 최소(가짜 데이터를 1로 속임) 각각 자신의 역할을 수행함으로써 진짜 분포와 가짜 분포가 같아진다. $$ minmaxV(D,G) = E{x \sim P{dat

sjinu

Paper: https://aclanthology.org/2021.naacl-main.201/ 0. Abstract Deep neural network, 그리고 huge language model은 점점 NLP 분야를 지배하고 있습니다. 하지만, 대부분의 모델이 많은 양의 데이터를 필요로 하는 문제가 있었으며, 이에 따라 필연적으로 low-resource 상황에서도 잘 작동할 수 있는 모델에 대한 연구도 많아졌습니다. 대표적으로 NLP 분야에서 쓰이는 방법은 large-scale에 pre-train시킨 다음 downstream-task에 fine-tune하는 방법들이 있는데, 본 서베이 논문도 마찬가지로 low-resource NLP 분야에서 쓸만한 좋은 접근법들을 다룹니다. 그 후, 사용 가능한 데이터의 규모에 따라 여러 관점을 제시하고, 학습 데이터가 적을 때 사용할 수 있는 학습 방법들에 대한 구조적인 틀을 제공합니다. 여기에는 다들 아는 transfer

sjinu

↑ 딥러닝의 명과 암 1. 기존 딥러닝의 한계와 메타러닝 1.1. 현재 딥러닝의 한계 모두가 알다시피, 근래 몇 년간 딥러닝은 수 많은 데이터에 의존해왔습니다. 데이터가 없다면, 성능이 잘 나오지 않죠. (여러 데이터셋 중 하나인 IMAGENET dataset) 딥러닝의 성능이 너무나도 좋아서 각광을 받고 있긴 하나, 대용량 데이터가 있어야만 제 기능을 하는 것은 인공지능이라기보다는 고도의 통계처리 기계라고 보는 것이 옳다는 의견도 많습니다. 더군다나, 데이터에 라벨까지 필요한 지도 학습 task라면 데이터셋 구축 조차 쉽지 않겠죠. 그래서 최근 몇 년간 데이터 의존성을 줄이기 위한 수 많은 연구가 있었습니다. Domain Adaptation Semi-su

wjleekr927

오랜만에 하는 논문 리뷰이다. 어떤 주제로 포스팅을 할까 하다가 최근 들어 meta learning 이라는 용어를 많이 접하기도 했고, 실제로 요즘 주목받고 있는 기술이라는 생각이 들어 meta learing의 기본이 되는 논문을 찾아보았다. 그렇게 해서 찾은 논문을 이번 포스팅에서 다뤄보려고 하는데, 이번 리뷰에서는 논문에 대한 세세한 정리보다는 '그래서 meta learning이 무엇인가?' 에 최대한 초점을 맞춰볼 것이다. 따라서 생략하는 부분이 많을 수 있는데, 글을 읽다가 더 자세한 내용이 알고 싶다면 reference 논문을 꼭 찾아보도록 하자. (논문에 명시된 실험에 대한 setting이나 내용 설명 등이 친절한 편인 것 같다.) > 글에 앞서서 'Model-Agnostic' 의 의미는 무엇일까? Agnostic: [명사] 불가지론자 ...? 침착하자. (나무위키를 참고한 결과) [불가지론](https://namu.wi

sjinu

3. 베이지안+ 딥러닝 + 강화학습 = AlphaGo 3.1 몬테카를로 몬테카를로(Monte-Carlo)는 도시국가인 모나코 북부에 있는 지역으로 카지노, 도박으로 유명한 곳이다. 수학의 확률이론 자체가 도박에서 비롯되었기에 도박 도시의 대명사였던 몬테카를로 역시 확률론과 밀접한 관계가 있는 방법론을 지칭하기도 한다. 즉, 몬테카를로 방법이란 무작위 추출된 난수를 이용해 함수의 값을 계산하는 통계학적 방법으로, 수치적분이나 최적화 등에 널리 쓰인다. 적분 문제 중 면적 계산을 예로 들어보자. 위 그림에서 검은 실선에 의해 구분되는 파란색 영역의 넓이를 구하고자 할 때, 함수로 표현하기 힘들거나 이론적인 적분 값을 구하기 힘든 경우 몬테카를로 기법을 사용할 수 있다. 이 때,

sjinu

0. Introduction 베이지안 통계(Bayesian Statistics)는 확률이 사건에 대해 특정한 정도의 ‘신뢰’를 제공하는 확률의 베이지안적 해석(Bayesian interpretation)을 기반으로 하는 통계 분야이다. 베이지안적 해석은 고전적인 통계와 관련된 빈도론자(Frequentist)의 해석과는 다른데, 빈도론적 해석은 수많은 시행 끝에 발생하는 상대적인 ‘빈도’를 토대로 확률을 해석하는 반면 베이지안적 해석은 현재 발생한 시행과 사전분포를 이용해 사후분포를 추정하는 등 관점의 차이가 존재한다. 이렇듯 ‘확률’에 대한 베이지안적 해석을 토대로 하는 베이지안 통계는 마르코프 체인 몬테 카를로, 근사적 베이지안 연산, 베이지안 회귀 등의 기법과 베이지안 딥러닝, 베이지안 메타러닝 등의 분야에 널리 쓰이고 있다. 특히, 전 세계에 인공지능의 부흥을 불러 일으킨 구글 딥 마인드의 바둑 인공지능 ‘AlphaGo’ 또한 딥러닝 모델과 함께 베이지안

tobigs_xai

작성자: 투빅스 15기 김태희 > ## Contents Introduction Objective Model Architecture Training Strategy 9주차] 강의들에서 나온 N-Shot Learning을 할 때 사용하는 Episodic Learning을 제안한 [Matching Networks for One Shot Learning 논문 리뷰이다. 0. Introduction 딥러닝 모델은 데이터의 양에 비례해 그 성능을 보여주는 경향이 있다. Neural Neet 구조가 깊어질수록 더 많은 파라미터들을 학습해야 하기 때문에 뛰어난 성능을 위해서는 더 큰 규모의, 양질의 데이터와 모델을 훈련시킬 수 있는 컴퓨팅 자원 여부가 필수적이다. 현실에서는 양질의, 균등한, labelled된 데이터를 구축하는 비용이 많이 들기도 하고 또 데이터가 균등하게 분포하는 것이 거의 불가능하기