
시계열 데이터에 특화된 Soft Contrasive Learning 전략을 제안다양한 다운스트림 작업에서 기존 contrasive learning 방법론 모델들보다 좋은 성능을 보임plug - and - play 방식이기 때문에 다른 모델 프레임워크에 쉽게 적용시킬 수

Whitening MSE(W-MSE)라는 새로운 Self supervised learning loss function을 제안.배치 샘플을 구형 분포(spherical distribution)에 놓이도록 제약하며, 기존 positive-negative instance c

Self-supervised leaerning을 활용한 라벨 보정 :기존의 원시 라벨(raw labels)이 가진 노이즈와 과적합 문제를 완화하기 위해, 재구성(reconstruction) 네트워크를 이용하여 후보 데이터셋(candidate datasets)을 생성하고

장기 시계열 예측 문제에서 MLP에 Patching을 적용한 PatchMLP라는 새로운 모델을 제안Transformer가 장기 시계열 예측(Long-Term Time Series Forecasting, LTSF) 과제의 해법이 될 수 있는지 회의적.패치 메커니즘을 적용

Multi-Vector vision-language Retrieval의 가장 큰 문제는 이미지 하나당 visual token을 수백~1000개가 넘는 visual token embedding을 저장해야함.이미지가 많아질수록 retrieval index의 저장 공간이 크