paper

resnet을 다룬 논문리뷰 및 코드 구현

resnet의 skip connection을 분석한 논문 리뷰 및 코드

resnext 모델을 소개한 논문 리뷰 및 구현

transformer 모델을 처음 제시한 논문

ViT 즉 이미지에 transformer 모델의 encoder을 사용한 논문

CNN을 transformer 모델의 구조와 비슷하게 만들어서 CNN의 성능을 최대한 이끌어낸 모델

Transformer layer를 tabular 분야에 접목한 모델을 제시한 논문

MLP만으로 vision 분야에서 유의미한 성능을 보여준 MLP-Mixer 구조를 제시한 논문을 리뷰하였다.

transformer를 tabular 도메인에 적용한 모델

patch embedding과 convolution Mixer 구조를 이용한 ConvMixer 구조 논문

이미지 분야에서 image의 spatial context를 활용한 self-supervised learning 방법론을 제시

variable size tabular data를 학습가능한 TransTab을 제시한 논문

직쏘 퍼즐을 활용한 image self-supervised learning

colorization을 이용한 pretrain

이미지를 회전하는 간단한 방법으로 pre-train의 sota를 달성한 논문

SimCLR 논문으로 대조 학습의 방법을 깔끔하게 정리한 논문

MoCo로 일컬어지는 방법론을 제시한 논문

MoCo에 SimCLR의 장점을 결합한 실험 논문

contrastive learning을 제기한 초창기 논문

여러개의 view를 활용한 contrastive learning을 제시

contrastive learning의 view에 대한 고찰과 semi-supervised lenaring을 통한 view generator 학습 방법 제시

BYOL, positive sample 만으로 contrastive learning을 진행할 수 있음을 보여준 논문

매우 간단하면서 좋은 성능을 내는 Simsiam 구조를 제시한 논문

DQN으로 아타리 게임을 학습한 논문

i-Mix virtual label을 섞어서 mixup을 contrastive lenaring에 적용한 논문 iclr2021

ViT 구조를 통한 Masked AutoEncoder (MAE)를 제시한 논문

domain에 영향을 받지 않고 self-supervised learn을 진행하는 방법을 소개

A3C 등 비동기 강화학습을 제시한 논문

DeepCluster 논문

world model에 대해서 다룬 논문

SwAV 논문

ViT + vision tokenizer을 활용한 pretraining 방법 BEiT를 소개한다.

online tokenizer를 이용한 distillation과 masking을 결합한 학습 방법 iBOT을 제시한다.

Tabular data의 feature을 subset으로 나눠서 학습하는 방법론

PlaNet과 Recurrent state-space model(RSSM), Latent Overshooting을 제시

Dreamer를 제시한 논문

Dreamer를 개선한 Dreamer V2를 제시한 논문

dreamer를 개선한 dreamer V3를 통해 다양한 domain의 문제를 해결함

transformer를 개선한 DIFF Transformer를 제시한 최신 논문

Dreamer에 Transformer의 장점을 최대한 살려서 넣는 방법과 long-term dependency task를 제시한 논문

Tabular에 decision tree의 장점을 차용한 architecuture인 TabNet 논문

LEXA를 다룬 논문

Perceiver IO를 제시한 논문 attention을 특이한 방법으로 처리함.

DDPM을 제시한 논문이다.

PPO의 전신인 TRPO를 제시한 논문

tabular domain의 foundation 모델 UniTabE를 제시한 논문

cross table pretraining framework XTab을 제시한 논문

TRPO를 실용적이게 개선한 PPO 논문

알파고 논문

사람의 지식 없이 학습하는 알파고 제로를 제시한 논문

AlphaZero를 model을 이용하여 학습하는 MuZero를 제시한 논문

Diffusion을 이용한 planning Diffuser을 제시한 논문

VQ-VAE를 제시한 논문

강화학습으로 o1과 비슷한 성능을 보인 deepseek r1 모델 리포트

sequential monte carlo를 이용하여 target distribution에서 sample을 뽑는 방법을 설명한 논문

recurrent layer를 통한 train, test time computation

positional embedding generator(PEG)를 제시한 논문

diffusion에 efficient하게 MCTS를 적용한 논문

discrete skillset을 활용해서 offline RL을 진행하는 논문

discrete diffusion의 강화학습을 소개한 논문

Masked diffusion language model을 더 잘게 bit 단위로 쪼개서 복구하는 논문

efficient한 구조로 transformer와 비슷한 성능을 보임

스스로 data augmentation을 하는 것에 대한 논문