첫번째 논문
논문 선택 이유: Negative pairs 없이 진행한 대조학습 기법들 총괄해서 설명해서
(CVPR2022, 인용수: 15회)
Abstract
자기 지도 학습은 인간 주석 없이 강력한 시각적 표현을 추출할 수 있는 큰 잠재력을 보여주었다.다양한 관점에서 자체 지도 학습을 다루기 위해 다양한 작업이 제안된다. (1) 대조 학습 방법(예: MoCo, SimCLR)은 양성 및 음성 샘플을 모두 활용하여 훈련 방향을 안내한다. (2) 비대칭 네트워크 방법(예:BYOL, SimSiam)은 예측자 네트워크의 도입과 정지 그레이디언트 연산을 통해 음성 샘플을 제거한다. (3) 대신 특징 차원 간의 중복을 줄이는 것을 목표로 하는 상관 관계 방법(예: Barlow Twins, VICReg)을 특징으로 한다.이러한 방법은 설계된 손실 함수에서 다양한 동기와 상당히 다른 것으로 보인다.최종 정확도 수치는 또한 다양하며, 여기서 다른 네트워크와 트릭은 다른 네트워크에서 사용된다.본 연구에서는 이러한 방법이 동일한 형태로 통일될 수 있음을 보여준다.손실 함수를 비교하는 대신 기울기 분석을 통해 통합 공식을 도출한다.또한 공정하고 상세한 실험을 수행하여 성능을 비교한다.이 방법들 사이에는 차이가 거의 없는 것으로 드러났으며, 모멘트 맨코더의 사용이 성능을 향상시키는 핵심 요소이다. 이 통합 프레임워크에서, 우리는 자체 지도 학습을 위한 간단하지만 효과적인 그레이디언트 형태인 UniGrad를 제안한다.메모리 뱅크나 예측자 네트워크가 필요하지 않지만 여전히 최첨단 성능을 달성하고 다른 훈련 전략을 쉽게 채택할 수 있다.온라인에서의 광범위한 실험은 평가이며 많은 다운스트림 작업도 효과를 보여준다.코드가 해제되어야 한다.
결론
-
기존에 다양하게 제안 되었던 모델들이 결국은 같은 gradient를 가짐.
-
단순하고 효과적인 grdietn form인 UniGrad을 제안함.
-
하지만, linear evaluation만 가능함.
-
data bias를 가질 수 있음.
두번째 논문
논문 선택 이유: 대조학습 근본 모델인 SimCLR를 사용해, time series에 적합한 여러 Augmentation 기법들 제안해서
Pöppelbaum, J., Chadha, G. S., & Schwung, A. (2022). Contrastive learning based self-supervised time-series analysis. Applied Soft Computing, 117, 108397.
실험 결과
-> 하나만 사용하면 Acc가 그다지 높지 않음.
-> 서로 다른 Augmentation 조합 만들고 하나 이상의 head를 사용하면 성능 향상됨.
-> 성능 향상됨.
-> 하지만 실험하는 데이터셋에 따라 변동성이 너무 크다는 단점 존재.
결론
-
SimCLR를 time series data에 사용하기 위함
-
여러가지 time series 전용 Augmentation 기법들을 제안함.
