Abstract

• General AI를 위해 sequentital한 방식의 multitask learning이 필수적임

• 하지만 일반적으로 인공신경망은 이것이 불가능함

• 이 논문에서는 이전 tasks에서 중요한 파라미터를 고정함으로써 이러한 catastrophic forgetting를 극복하고자함

Introduction

• 실제 세계에서 agent가 다양한 task를 학습하고 기억하는 것이 어려우므로 지속적 학습이 중요함

• 하지만 이전에 학습한 내용이 소실되는 문제가 발생

• 기존의 multitask learning paradigm에서는 메모리 부족이 발생

• 이 논문에서는 인간 등 포유류의 지속적 학습 방식을 모방한 elastic weight consolidation(EWC)를 해결책으로 제시

• 이는 특정 태스크에 중요한 weights의 학습 속도를 줄임

Elastic Weight consolidation

• 하나의 태스크의 loss를 최소화하는 파라미터 조합은 여러가지임

• 그러므로, continual learning에서 EWC에 의해 이전 task에 중요한 파라미터를 최대한 유지한채로, 새로운 task의 loss를 최소화하는 것이 가능함

• 이때 L2 정규화을 등을 이용해 모든 파라미터들을 같은 비율로 유지한다면 심한 제약이 발생해 이전 태스크를 기억하는 대신 새로운 task를 전혀 기억하지 못함

• 따라서 이전 task에 중요한 정도에 따라 파라미터 유지 비율을 개별적으로 적용해야함

• 구체적으로는 베이즈 정리와 라플라스 변환, 피셔 정보 등이 사용됨

EWC allows continual learning in a supervised learning context

• 이미지의 특정 영역을 섞어가며 순차적으로 학습함

• EWC를 사용한 경우, L2 정규화나 일반적인 SGD에서와 달리 이전 task에 대한 성능이 어느정도 유지됨

• 앞쪽 레이어보다는 출력 층에 가까운 뒤쪽 레이어에서 파라미터가 재사용되는 경향이 큼

Discussion

• 이전 연구와 달리 시간 복잡도 상에서 우수함(파라미터 수와 학습 데이터 개수에 모두 선형적)

• Bayesian neural networks를 통해 더욱 개선 가능할 것으로 예상함

• 인간의 뇌를 모방한 연구의 성공이 뇌에 대한 이해에 도움이 될 수도 있음

• 인간의 뇌가 각 시냅스에 정보뿐만이 아니라 그 정보의 불확실성에 대한 내재적인 표현을 저장하는 것처럼 EWC에서도 각 시냅스에 값 외에 그 분산과 평균이 저장되어 각각 초기/최근의 가중치가 인코딩하는 대상이 된다.