post-thumbnail

[논문 리뷰] ViT: An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

NLP에서 transformer는 큰 성과를 이루며 실질적인 표준이 되었으나, CV에서의 응용은 제한적그동안 vision 분야에서는 attention을 CNN과 혼용하여 사용하거나, CNN의 구조는 유지하되 일부 요소들만 대체하는 방식으로 사용해왔다.본 논문에서는 CN

2021년 9월 16일
·
0개의 댓글
post-thumbnail

[논문 리뷰] Transformer: Attention Is All You Need

Seq2Seq 모델들은 Encoder의 정보들을 벡터화하여 손실되는 문제가 있어 Decoding 시 개별 토큰과의 관계 파악이 어려움또한, Sequence가 길어지는 경우 Gradient vanishing 문제 발생문제 해결을 위해 Attention value 도입인코

2021년 7월 28일
·
0개의 댓글