💿 Continual Learning with Deep Generative Replay

⏰ 24 May 2017

Abstract

Comprehensive(포괄적인) 인공지능을 훈련하려는 시도는 'Catastrophic Forgetting(파국적 망각)'이라는 만성적인 문제를 보여왔음. 모든 데이터를 다시 돌리는 것은 해당 문제를 완화하나, 큰 메모리를 필요로하며, 데이터 사용의 한계로 어려운 경우가 많음. 영장류의 단기기억 시스템인 해마의 특성에 영감을 받아 Generator와 Solver로 구성된 Deep Generative Model을 새롭게 구현한 Deep Generative Replay를 제안함. 이 두 모델만으로 이전 작업의 훈련 데이터를 쉽게 샘플링하여 새로운 작업의 데이터와 교차시켜 사용할 수 있게 됨. 다양한 이미지 분류 작업을 포함한 sequential 학습 설정에서 해당 방법을 테스트하였음.

1. Introduction

인간과 영장류는 신경 가소성과 안정성의 균형을 통해 과거 지식을 잊지 않고 새로운 것을 배우는 능력이 뛰어남. 반면 딥 뉴럴 네트워크는 새로운 과제를 학습할 때 이전 과제의 성능이 급격히 저하되는 '카타스트로픽 포겟팅' 현상을 겪음.

⛔️ 기존 해결책인 에피소드 메모리 시스템은 많은 저장 공간을 필요로 함.

💡새로운 접근법으로 제안된 '딥 생성 리플레이'는 과거 데이터를 참조하지 않고도 가짜 데이터를 생성하여 이전 지식을 유지하면서 새로운 과제를 학습함.

➡️ 이 방법은 개인정보 보호가 필요한 상황에서도 유용할 수 있다.

2. Related Works

💿 '카타스트로픽 포겟팅'
1980년대 도입, 카타스트로픽 간섭이 신경망의 근본적인 한계이며 높은 일반화 능력의 단점이라고 주장

• 원인이 분석적으로 연구되지는 않았지만 신경망이 입력의 내부 특성을 매개하며 새로운 샘플을 학습할 때 이미 확립된 표현이 변화해버린다는 것

• 여러 연구들은 순차 학습 설정에서의 경험적 결과를 보여주고 이전 데이터를 모두 재생하는 등의 몇 가지 초기 해결책을 제공

2.1 Comparable methods

일부 연구는 이전 데이터에 대한 접근이 현재 작업으로 제한되는 상황을 가정

➡️ 이미 통합된 가중치의 변화를 최소화하면서 네트워크 파라미터를 최적화

(1) 드롭아웃과 L2 정규화와 같은 정규화 방법이 새로운 학습의 간섭을 줄이는 데 도움

(2) Elastic Weight Consolidation(EWC): 이전 작업에 중요한 가중치를 보호하여 성능 저하를 완화한다

(3) 작업별 파라미터를 추가하여 순차 학습 중 간섭을 줄이는
방법

(4) Learning without Forgetting(LwF): 이미지 분류 작업에서 순차 학습 문제를 해결하면서 공유된 네트워크 파라미터의 변화를 최소화

2.2 Complementary Learning System(CLS) theory

💿 가상 리허설 기법
카타스트로픽 포겟팅을 완화하기 위해 보완적 네트워크 아키텍처를 설계

• 이전 작업의 훈련 데이터를 사용할 수 없는 경우, 메모리 네트워크가 생성한 가상 입력과 가상 타깃만 작업 네트워크에 제공

➡️ 실제 데이터를 접근하지 않고도 기존의 입력-출력 패턴을 유지한다고 주장되고 있음.

⛔️ 최근 연구는 해마 구조를 본뜬 아키텍처를 제안하여 복잡한 데이터의 지속적 학습을 촉진, 고차원 입력에 대한 확장성은 보여주지 못함.

💡 본 논문의 생성 리플레이 프레임워크는 학습된 과거 입력 분포에서 가짜 입력을 생성하여 차별화!

➡️ 생성 리플레이는 생성된 과거 데이터와 실제 현재 데이터를 함께 최적화하여 성능이 축적된 실제 데이터로 공동 훈련한 것과 동등함.

+) 제한된 볼츠만 머신을 훈련하여 과거 입력 분포를 회복함.

2.3 Deep Genrative Models

생성 모델은 관측 가능한 샘플을 생성하는 모든 모델을 말함.

본 논문은 주어진 실제 분포에서 생성된 샘플의 가능성을 최대화하는 딥 신경망 기반의 💿 딥 생성 모델을 제안함.

• GAN 프레임워크는 생성자(G)와 판별자(D) 간의 제로섬 게임을 정의

➡️ 판별자는 두 데이터 분포를 비교하여 생성된 샘플과 실제 샘플을 구별하는 법을 배우는 반면, 생성자는 실제 분포를 최대한 가깝게 모방하는 법을 학습

3. Generative Replay

• 지속적 학습 프레임워크에서 해결해야 할 작업의 순서를 N개의 작업 T = (T1, T2, ..., TN)

💡 정의 1: 작업 Ti는 데이터 분포 Di에서 추출된 학습 예제 (xi, yi)에 대한 목표를 최적화하는 것

• 본 모델에서는 해당 모델을 학자(scholar)라고 부름 ➡️ 새로운 작업을 학습하고 다른 네트워크에 지식을 전달할 수 있기 때문

💡 정의 2: 학자 H는 ⟨G, S⟩의 튜플로, 생성기 G는 실제와 유사한 샘플을 생성하는 생성 모델이고, 해결사 S는 θ로 매개변수화된 작업 해결 모델임.

• 해결사는 작업 시퀀스 T의 모든 작업을 수행해야함. 전체 목표는 작업 시퀀스의 모든 작업에 대한 손실의 편향 없는 합을 최소화하는 것

• E(x,y)∼D[L(S(x; θ), y)], 여기서 D는 전체 데이터 분포이고 L은 손실 함수 ➡️ 작업 Ti에 대해 학습하는 동안 모델은 Di에서 추출된 샘플을 입력받음.

3.1 Proposed Method

💿 본 연구는 학자 모델을 순차적으로 훈련함. 최근 네트워크 사본을 참조하여 단일 학자 모델을 훈련하는 것과 여러 학자 모델을 순차적으로 훈련하는 것과 같음.

• 새로운 생성기는 현재 작업 입력과 이전 작업의 재생 입력을 받으며, 이 샘플들은 새로운 작업과 이전 작업의 중요도 비율에 따라 혼합됨

• 생성기는 누적 입력 공간을 재구성하고, 새로운 해결사는 혼합된 데이터로부터 입력과 타깃을 결합하도록 훈련됨.

i번째 해결사의 훈련 손실 함수:
Ltrain(θi) = rE(x,y)∼Di [L(S(x; θi), y)] + (1 − r) Ex′∼Gi−1 [L(S(x′; θi), S(x′; θi−1))].

✅ 학자 모델은 GAN 프레임워크에서 훈련된 생성기를 사용하며, 다른 딥 생성 모델도 사용할 수 있음.

3.2 Preliminary Experiment

본 실험에 앞서, 학습된 학자 모델만으로도 빈 네트워크를 훈련할 수 있음을 보여줌.

➡️ MNIST로 테스트: 학자 모델이 정보를 잃지 않고 지식을 전이함을 관찰함.

➡️ MNIST 데이터베이스의 전체 테스트 데이터에 대해 순차적으로 학습된 해결사의 테스트 정확도: 첫 번째 해결사는 실제 데이터로부터 학습되었고, 이후 해결사들은 이전 학자 네트워크로부터 학습됨.

4. Experiments

최적의 생성 모델이 작업 성능의 유일한 제한 요인 ➡️ 생성 리플레이로 네트워크를 훈련하는 것은 전체 데이터에 대한 공동 훈련과 동등

• WGAN-GP 기술을 사용하여 생성기를 훈련

✅ 본 모델은 지속적 학습에 용이하며 이전 작업이나 새로운 작업의 성능을 손상시키지 않음.

➡️ MNIST에서 생성 리플레이가 이전 작업 데이터를 호출하여 과거 지식을 유지하는 것으로 나타남.

• 생성 리플레이를 사용한 해결사는 여러 작업에 대한 순차적 훈련 중 이전 작업의 성능을 유지했으며, 누적된 작업에 대한 평균 정확도가 향상되었음.

• 📌 반면, 단순히 훈련된 해결사는 이전 작업의 성능이 하락했고, 무작위 잡음 재생은 성능 손실을 완화하는 데 도움이 되지 않음.

5. Discussion

본 연구의 딥 생성 리플레이 프레임워크는 이전 학습 예제를 모방한 가짜 데이터를 생성하고 반복 학습함으로써 순차 학습을 가능하게 함.

➡️ 이 프레임워크는 생성기와 해석기로 구성되어 있으며, 명시적인 분할 없이도 오래된 작업과 새로운 작업의 성능을 균형 있게 유지할 수 있음.

반면, EWC와 LwF와 같은 정규화 방법은 파국적 망각 문제를 해결하지만 큰 네트워크가 필요하고 특정한 한계가 있었음.

✅ 생성 리플레이 프레임워크는 이러한 한계를 극복하지만, 생성기의 품질에 따라 효율성이 달라질 수 있으며, SVHN 데이터셋에서는 약간의 성능 저하가 관찰되었음.

🐵 미래 연구는 생성 리플레이를 강화 학습 분야나 자기 복사로부터 지식을 유지하는 지속적으로 진화하는 네트워크 형태로 확장할 수 있을 것으로 기대됨.