본 논문에서는 class-incremental learning 상황에서 효과적인 학습전략인 iCaRL을 제안합니다.
이때 class-incremental learning은 continual learning의 상황으로써 새로운 클래스가 점진적으로 추가되는 상황을 가정합니다.
그리고 이때의 learning은 하나의 네트워크 상에서 진행되며 현시점을 기준으로 했을 때 이전에 추가되는 클래스의 학습데이터 전체를 알지는 못합니다. 일부에만 접근 가능하거나 전혀 접근이 불가능합니다.
정리하자면 iCaRL은 class-incremental learning상황을 가정할때 classifier와 data representation(feature)을 동시에 학습합니다. 그런데 class-incremental learning상황을 가정하기 때문에 발생할 수 있는 문제점들을 해결해야 합니다. 이는 catastrophic forgetting 즉,새로운 task를 학습할 때, 이전에 배웠던 knowledge를 쉽게 잊게 되는 현상과 한정적인 computing resource를 가진다는 점이 있습니다.
본논문에서 iCaRL은 세가지 요소를 통해 위와 같은 단점을 극복하도록 하였는데 세가지요소는 다음과 같습니다.
1. Nearest-mean-of-examplars: examplars의 평균중에서 가장 가까운 것을 찾겠다는 것으로 feature정보가 가장 가까운 class를 찾는 방식으로 분류를 수행한 것입니다.(이때 examplar는 기존 data를 약간씩 sampling한 미니데이터셋을 의미)그리고 이때 examplar는 다음과 같은 특징을 지니는데 (모든 class의 data개수를 동일하게하여서 class imbalance현상을 방지하고, 해당 class를 가장 잘 대표하는 데이터들로 구성되어야 하며 각 class 별로 해당 class를 잘 대표하는 순서대로 구성되어야 합니다.)
2. Herding-based step for prioritized exemplar selection: 이전 정보의 일부를 저장해서 이후에 access가능하게 할 때 각 class마다 우선순위에 맞게 중요한 이미지 부터 즉,우선순위가 높은 순서대로 저장되고 삭제가 될때는 중요하지 않은 순서대로 삭제가 이루어 질 수 있게 합니다.
3. Representation Learning: 1)knowledge distillation과 2) prototype rehearsal을 이용합니다.
각각을 간단하게 설명하면 knowledge distillation은 LwF에서 언급한 것처럼 Teacher network(이미 잘 학습된 큰 네트워크)가 Student network(task를 수행하고자 하는 작은 네트워크)에게 학습한 지식을 전달하는 것이다.작은 사이즈의 network로도 고성능을 낼 수 있도록 학습 과정에서 기존의 대형 모델의 지식을 작은 모델에 전달하는 것이 핵심이다.
결과 비교중...LwF에 비해서 고른 성능을 보여주는데 LwF는 examplar가 없기 때문에 이전 set에 대해서는 예측 성능이 떨어지는 것을 확인하였는데 그에 비해서 더 좋은 결과를 보여주었다고 볼 수 있었습니다. 그리고 fixed representation에 대해서는 앞에서 학습한 것에 대해서는 우수한 성능을 보여주지만 새로운 task에 대해서는 성능이 좋지 못한 것을 확인할 수 있었습니다. 그리고 마지막 finetunning에서는 이전의 학습했던 것에 대한 forgetting이 심하여 최근 학습한 데이터에 대해서만 성능이 좋은 것을 확인할 수 있었습니다.
출처) 동빈나 유튜브 https://www.youtube.com/watch?v=3QQioDQCbuA
https://gbjeong96.tistory.com/44
https://velog.io/@diddu/%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0-iCaRL-Incremental-Classifier-and-Representation-Learning
https://velog.io/@janet990430/iCaRL-Incremental-Classifier-and-Representation-Learning
https://ffighting.net/deep-learning-paper-review/incremental-learning/icarl/
