Abstract
Self-Supervised Learning(SSL)은 레이블이 없는 데이터에서 transfer 가능한 representation을 학습하기 위한 선택 솔루션으로 떠오름
하지만 SSL은 의미론적으로 유사한 샘플(positive views)을 구축해야 함
이러한 지식이 필요하다는 것이 SSL의 주요 한계이며, 데이터 증강을 적용하는 등의 임시 전략으로 극복
오라클이 샘플 간 의미 관계를 쿼리하는 Positive Active Learning(PAL)을 통해 일반화
1. SSL을 넘어 이론적으로 견고한 학습 프레임워크 공개, 이는 오라클에 따라 supervised 및 semi-supervised learning을 해결
2. 어떤 SSL 손실에 대한 사전 지식(예: 일부 관찰된 레이블)을 학습 파이프라인 변경 없이 삽입하는 일관된 알고리즘 제공
3. 입력간 의미적 관계의 간단한 쿼리를 통해 비전문가가 쉽게 답변할 수 있는 Active Learning framework를 제공하여 데이터셋에 주석 처리하는 저렴한 솔루션 제공
이는 이론과 실제 active learning간의 격차를 줄이는 데 도움
1. Introduction
현재 인공지능 연구의 주요 목표 중 하나는, 다양한 작업을 해결하고, 후처리를 최소화할 수 있는 데이터 representation을 학습하는 것
이러한 representation은 일반적으로 Deep Networks(DNs)를 통해 주어진 입력을 처리하여 찾아짐
현대 연구의 주요 관심사는 DN의 parameter를 조정하는 데 사용되는 훈련 설정의 선택에 초점
layerwise, reconstruction based, 그리고 최근엔 SelfSupervised Learning(SSL)등 다양한 전략이 제안
기존 학습 솔루션 중에서 joint-embedding SSL이 가장 유망한 솔루션 중 하나로 부상
이 방법은, 일부 알려진 변환에 대해 불변한 representation을 학습하면서 표현의 차원 축소 방지
이러한 불변성은 이미지에 대한 번역과 같은 일부 데이터 증강(DA) 기법을 적용하여 동일한 입력에 대한 representaion이 같아지도록 함
SSL에는 두 가지 주요 제한 사항
1. 지도 학습과 완전히 분리되어 있어 각 분야에서 progress(진전) transfer 되지 않음
2. loss 및 DA를 조정하는 것 외에 사전 지식을 SSL 프레임워크에 통합하는 방법이 명확X
예를 들어, (일부) 레이블 정보에 액세스할 수 있는 경우, 사전 학습에 SSL을 사용한 다음 지도 학습으로 미세 조정. 또는 SSL 학습 중에 레이블 정보를 사용하여 positive pair을 샘플링할 것을 제안하지만, 이 변형이 학습된 DN에 어떤 이점을 제공한다는 보장은X
이 연구에서, similarity graph의 관점에서 기존 SSL과 supervised loss를 재정의해서 두 제한 사항 완화
노드는 데이터 샘플을 나타내고 edge는 샘플 간 관계를 반영
우리는 similairity graph의 관점에서 학습에 대해 생각할 수 있는 일반적인 프레임워크를 제공
SSL과 supervised 학습이 두 극단(two extremes)으로 보일 수 있는 스펙트럼 생성
이 영역 내에서, 이 두 극단은 유사도 행렬을 통해 연결되며, 실제 유사도 그래프를 변경하여 동일하게 만들 수 있음
특히, 유사도 그래프가 기본 레이블과 일치할 때 SSL 변형은 각각 평균 제곱 오차, discriminatn analysis 및 cross-entropy supervised learning과 유사한 표현을 학습한다는 사실을 알게 될 것임
이러한 유사도 그래프를 사용해서 SSL 및 supervised training loss를 정의함으로써 자연스럽게 발생하며, 능동 학습의 비용과 전문가 요구 사항을 줄이기 위한 프레임워크 공개
Figure 1. Active(능동적) Self-Supervised Learning은 PAL(오른쪽 상자) 소개, 이는 Active Learning(왼쪽 상장)의 대안.
PAL에서는 오라클이 입력이 의미적으로 관련이 있는지 여부를 물음. Active Learning과는 달리, 모든 가능한 클래스를 알 필요가 없고 동일한 클래스의 입력을 구분하는 방법만 알면 됨
이러한 이유로 PAL은 유사도 그래프 G에 따라 작동하는 저비용 대안으로 입증, 충분한 샘플을 쿼리하면 SSL 또는 지도 학습의 학습된 표현이 동일해 짐
PAL 쿼리는 flexible하며, 예로 주어진 입력이 다른 입력들과 함께 제시되고, 오라클은 해당 입력 중에서 Positive 입력을 선택할 수 있는 la captcha 버전을 보여줌
Tell me who your friend are, and I will tell yo who you are
Active learning은 오라클에게 필요할 때만 샘플 레이블을 요청하여 지도 학습 비용을 줄이는 것을 목적
이는 절대적인 샘플 레이블링 대신 상대적인 샘플 비교로 공식화
이러한 효율적이고 저비용의 방법은 우리 프레임워크에서 파생된 Active learning 전략
그림 1에 표시된 것처럼 레이블을 요청하는 대신, 두 개 이상의 입력이 동일한 클래스에 속하는지 여부를 묻는다.
이러한 전략으 Positive Active Learning(PAL)이라고 지칭, 전총적인 Active learning에 비해 PAL의 이점에 대한 주요 분석을 제시
- 유사도 그래프 개념을 기반으로한 통합 학습 프레임워크를 제공. 이는 self-supervised learning, supervised learning, semi-supervised learning 및 여러 변형을 모두 포함
- underlying similarity graph를 쿼리하기 위한 오라클에 기반한 일반적인 PAL 알고리즘을 도출. 다른 학습 프레임워크(SSL, 지도 학습 등)는 서로 다른 오라클을 통해 복구되며, 각 프레임워크의 차이점을 활용하기 위해 결합될 수 있음
- 유사도 쿼리를 기반으로 한 active learning 프레임워크로 PAL을 확장하여 데이터셋에 주석을 달기 위한 저비용 효율적인 전략을 제공하는 방법을 보여줌 (그림1 참조)
