출처: https://wikidocs.net/167320
자기지도 학습(Self-Supervised Learning)이란 레이블이 없는 데이터로부터 학습하는 인공지능 기법이다. 이 방법은 레이블이나 주석이 필요하지 않은 대신, 데이터 자체에서 학습 과제를 생성한다. 예를 들어, 이미지에서 일부를 가리고 모델이 가려진 부분을 예측하게 하는 것이 자기지도 학습의 한 예시이다. 이러한 접근 방식은 모델이 데이터의 내재된 구조와 패턴을 이해하도록 돕는다.
자기지도 학습은 지도 학습(Supervised Learning)과 비지도 학습(Unsupervised Learning)의 중간쯤에 위치한다고 볼 수 있다. 지도 학습처럼 명시적인 목표를 가지고 학습하지만, 비지도 학습처럼 레이블이나 주석이 필요 없다. 이 기법은 특히 데이터 레이블링에 많은 비용이 드는 경우 유용하며, 자연어 처리(NLP), 컴퓨터 비전 등 다양한 분야에서 활용되고 있다.
○ 자기지도학습은 비지도학습 기법 중 하나로, 다수의 레이블이 존재하지 않는 원본 데이터로부터 레이블을 자동으로 생성하여 지도학습에 이용하는 방법
- 지도학습의 원천이 되는 데이터의 레이블 생성 과정에서 발생할 수 있는 번거로움과 비용 부담은 인공지능 모델 개발의 주요 한계임
- 데이터 부분들의 관계를 학습하여, 레이블 없이도 학습을 수행할 수 있다는 점에서 주목받고 있음
○ 자기지도학습은 주로 영상이나 이미지 관련 도메인에 많이 적용되었으며, 최근 텍스트 및 오디오 관련 분야에서도 자기지도학습 연구가 활발히 진행 - 이미지/영상 등의 색상과 화질 복원 문제에 널리 활용
- 대표적인 자연어 처리 모델인 BERT 와 GPT-2 또한 자기지도학습 기반의 단어 예측을 통한 사전 학습 시행
○ 최근 컴퓨터 비전 분야에서 자기지도학습을 활용하여 지도학습의 성능과 유사한 수준까지 도달 - 제프리 힌튼 교수가 제안한 SimCLR모델은 지도학습의 최고 신기록과 유사한 수준의 혁신적 성과 달성
— NIA 「DNA플러스 2021」, NeurIPS 2020을 통해 본 인공지능(AI) 기술 트렌드
Self-supervised learning은 Tagged data 수집의 어려움을 배경으로 생겨났습니다. 일반적으로 Deep learning 모델은 모델 사이즈(parameter 수)가 증가함에 따라 정확도가 향상되는데, 큰 사이즈의 모델을 적절하게 학습하기 위해서는 대량의 데이터가 필요합니다. 신종 눈알 붙이기 부업처럼 Tag 붙이기 알바가 등장해서 Tagged data를 확보하려고 하지만 역시 비용이 많이 드는 단점이 존재하지요. 따라서 Tagged data가 적어도 되는 Self-supervised learning은 학습 데이터 확보가 쉽고 따라서 모델 Size 증가가 가능하며 모델의 정확도가 더 늘어난다는 장점이 있습니다.
— Self-supervised learning (자기지도 학습) 이란?
