# Contrastive Learning

13개의 포스트

[Story Generation #2] Genre-Controllable Story Generation via Supervised Contrastive Learning (WWW, 2022)

Challenge : Pretraine language model 등의 발전으로 controllable text genration이 각광받고 있다. 하지만 story-specific controllability를 잘하기 위해선 아직 부족하다!

어제
·
0개의 댓글
·

TS-TCC 정리 및 분석 - 1

졸업을 위해 캡스톤 디자인을 하면서 Contrastive learning쪽에 대해 공부하게 되었는데, 공부에 쓰인 TS-TCC 논문을 정리해서 남기고자 해당 포스팅을 씁니다. 코드 : https://github.com/emadeldeen24/TS-TCC 논문 : ht

2022년 7월 30일
·
0개의 댓글
·
post-thumbnail

Incremental False Negative Detection for Contrastive Learning (ICLR / 2022)

점진적으로 false negative 찾아내고 제거하는 방식을 통하여 Contrastive Learning의 false negative problem을 개선

2022년 6월 26일
·
0개의 댓글
·
post-thumbnail

Boosting Contrastive Learning with Relation Knowledge Distillation (AAAI/ 2022)

cluster-based와 contrast-based를 link하는 relation knowledge-distillation 기법 제안

2022년 6월 26일
·
0개의 댓글
·

[간단정리]Adversarial Self-Supervised Contrastive Learning(NIPS 2020)

Some notes on Adversarial, Self-Supervised, and Contrastive Learning

2022년 5월 10일
·
0개의 댓글
·
post-thumbnail

CoDA: Contrast-Enhanced and Diversity-Promoting Data Augmentation for Natural Language Understanding (ICLR / 2021)

back-translation에 adversarial training을 sequential stacking하고 consistency loss와 contrastive loss를 이용하여 informative한 augmented data augmentation 기법을 제안

2022년 4월 3일
·
0개의 댓글
·
post-thumbnail

Neighborhood Contrastive Learning for Novel Class Discovery (CVPR / 2021) paper review

Novel Class Discovery task에 대하여 Neighborhood Contrastive Learning + Hard Negative Generation method를 제안

2022년 1월 23일
·
0개의 댓글
·
post-thumbnail

Large-Margin Contrastive Learning with Distance polarization Regularizer (ICML / 2021) paper review

Distance Polarization Regularizer를 사용하여 기존의 Contrastive Learning을 개선하는 method를 제안

2022년 1월 23일
·
0개의 댓글
·
post-thumbnail

reveiw-understanding contrastive loss

contrastive loss is a hardness-aware loss function.(hardness-aware : 애매하지 않고 딱 구분되게 분류할 수 있도록 만들어 주는 것 - inter 멀고 intra에서 가깝고)temperature controls the

2021년 12월 31일
·
0개의 댓글
·

SimCSE- Simple Contrastive Learning of Sentence Embeddings

본 포스트는 BERT, RoBERTa와 같은 masked language model(MLM)으로 학습된 pre-trained language model(PLM)에 drop out 기반의 contrstive learning 방식을 이용, unsupervised, supe

2021년 11월 29일
·
0개의 댓글
·
post-thumbnail

Self-Guided Contrastive Learning for BERT Sentence Representations (ACL / 2021) paper review

BERT의 sentence representation을 improve하기 위한 contrastive learning method

2021년 11월 7일
·
0개의 댓글
·