Transfer Learning이란?
정말 간단히 이야기 하자면,
특정분야에서 학습된 신경망 모델을 사용하여 유사하거나 새로운 모델을 만들 때
학습을 빠르게 더 하며, 예측율을 더 높이는 방법입니다.
복잡한 모델일수록 학습시키기 어렵고, 시간이 오래 걸립니다.
그렇기 때문에 처음부터 학습시키는 것 보다 미리 생성된 모델을 사용해서 문제를 해결하는 방식이 더 효율적입니다.
예를 들어 이미지 분류 모델을 사용할 때, CNN기반의 모델일 경우 CNN레이어에서 추출한 이미지의 특징을 이미 학습된 다른 모델에서 그대로 가져와 사용하고 마지막 출력 계층의 레이어만을 변경해서 재학습시키는 방식입니다.
전이학습은 학습 데이터의 수가 적을 때도 효과적이며, 학습속도도 무척 빠릅니다.
물론 빠르기만 한 것이 아니라, 정확도도 오히려 전이학습을 사용하지 않은 경우보다 훨씬 높은 정확도를 제공합니다.
다른 주제에서도 사용이 가능한가?
제가 들었던 궁금증이며, 다른 사람도 처음 전이학습에 대해서 들어보게 된다면 생길 수 있는 궁금증이라고 생각합니다.
과연 A라는 대상을 학습한 프로젝트의 모델을 B라는 대상을 학습할 때에도 사용이 가능할 까?
전이 학습에 대해서 다룬 글에서 자주 등장하는 예시로, 자동차를 인식하는 모델을 가지고 자동차의 분류 모델에 전이 학습을 시키면 속도와 정확도에 좋은 영향을 준다는 예시가 있습니다.
이러한 예시는 쉽게 수긍이 됩니다. 하지만 자동차와 오토바이를 분류하는 모델을
개와 고양이를 분류하는 딥러닝 모델에도 적용할 수 있을까? 하는 의문이 들 수 있습니다.
여러 층으로 구성된 딥러닝 모델은 초반에는 낮은 수준의 특징을 잡아내고, 뒤로 갈수록 점점 높은 수준의 특징을 잡안냅니다.
모서리, 질감, 형태의 특징을 잘 감지하도록 학습된 모델을 사용한다면, 다른 주제의 이미지를 분류할 때도 특징을 잘 감지합니다.
물론 처음부터 학습에 사용할 수 있는 데이터가 아주 많으면 모델을 처음부터 학습시키는 방법으로도 목적에 맞는 성능 좋은 모델을 만들 수 있습니다.
하지만 항상 데이터가 많이 확보되는 경우는 많지 않기 때문에 다른 데이터 셋에서 이미 잘 학습된 모델의 일부분을 특성 추출 목적으로 재사용하는 전이 학습으로 뛰어난 성능을 가진 모델을 만들 수 있습니다.
전이학습의 연구 분야 및 동향
전이학습의 가장 큰 장점은 역시 학습의 향상도가 가파르게 상승하는 점, 즉 속도이며
그러한 점 때문에 다양한 응용 분야로 확장이 가능합니다.
딥러닝에서 대두되는 연구 분야중 하나인 딥러닝 경량화에서도 사용되고있습니다.
딥러닝 경량화란 결량 디바이스, 모바일 디바이스나 IOT 센서와 같이 저전력과 저사양의 기기에서도 딥러닝 알고리즘 모델이 구동되도록 연구하는 것입니다.
딥러닝은 연산량이 많고, 학습시간이 오래걸리기 때문에 고사양의 기기가 필요합니다.
이러한 장벽을 극복하기 위해 기존의 학습된 모델의 정확도를 유지하면서 크기가 작고 연산을 간소화하는 연구입니다.
이러한 딥러닝 경량화 연구에서 전이학습은 학습된 기본 모델을 통해 새로운 모델의 생성 시 파라미터 값을 활용하여 학습시간을 줄이는 연구에서 사용됩니다.
이번 글에서는 예시로 CNN만을 이야기 했지만, 최근 BERT나 GPT2라는 자연어처리 모델에서도 전이학습을 활용하며, 로보틱스 분야에서도 전이학습을 많이 활용합니다.
전이학습은 기존의 모델을 사용하여 속도, 정확도를 확보할 수 있다는 커다란 장점이 있습니다.
그러한 장점을 통해 비교적 적은 데이터를 활용해서도 인공지능 기술을 사용할 수 있으며, 딥러닝 경량화에서도 사용되어 인공지능 기술이 다양한 분야로, 실생활에 더 가까워질 수 있도록 도와주는 큰 역할을 할 수 있을 것이라 생각합니다.
