
BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer

기존 언어모델은 많은 지식을 담고 있지만 지식이 전부 파라미터에 암묵적으로 저장되어 있는데 이를 모델이 커져야만 더 많은 지식을 커버 가능했는데 언어모델에 latent knowledge retriever 추가함

S³-Rec는 여러 auxiliary objective을 만들어 시퀀스 내 다양한 관계를 학습 MIM 원리를 적용해 추천의 품질을 높임

self-supervised learning(자기지도학습) + contrastive learning(대조학습)을 시퀀스 추천에 최초로 적용한 CL4Rec

Self-Attention 기반 구조를 통해 기존 번역 모델의 한계를 뛰어넘으며 오늘날 LLM 시대의 기반이 된 혁신적인 모델

모델 구조의 혁신 없이도 규모 확장을 하여 NLP 패러다임을 바꾼 GPT-3

이미지와 텍스트를 하나의 의미 공간에서 학습해 범용적인 멀티모달 표현을 만들어낸 모델 CLIP

LLM Agent의 시작을 보여준 ReAct

LLM이 필요할 때 API를 불러 더 정확한 답을 만들도록 학습시킨 첫 시도

문제를 푸는 AI에서 살아가는 AI로
Multimodal Neuroimaging 기반 정신질환 진단