# self-attention

16개의 포스트

[paper-review] Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

Liu, Z., Lin, Y., Cao, Y., Hu, H., Wei, Y., Zhang, Z., ... & Guo, B. (2021). Swin transformer: Hierarchical vision transformer using shifted windows.

2021년 8월 27일
·
0개의 댓글
post-thumbnail

Polarized Self-Attention

Abstract Pixel-Wise Regression은 keypoint heatmap을 추출하고 semantic mask를 생성하는 등 CV task에서 흔히 수행되는 작업이지만 낮은 computational overhead를 유지함과 동시에 고해상도의 input/

2021년 8월 15일
·
0개의 댓글
post-thumbnail

Stand-Alone Self-Attention in Vision Models (NIPS 2019) 논문리뷰

original paper현대 computer vision의 기본적인 building block으로 쓰이는 Convolution.그런데 Convolution으로는 입력 데이터상의 long-range dependency 식별에 어려움이 있다.이 문제를 해결하기 위한 다양

2021년 8월 9일
·
0개의 댓글
post-thumbnail

Multi-Head Attention: Collaborate Instead of Concatenate (2020) / 논문리뷰

기존의 Multi Head Attention(MHA)이 파라미터 사용 측면에서 비효율적인 측면이 있으며, 이를 head들간 공유가능한 파라미터를 사용함으로써 해소시키려는 시도의 논문이다. [paper] ICLR 2021에 제출되었으나 아래의 이유로 기각된 논문 ㅠㅠ

2021년 7월 20일
·
0개의 댓글
post-thumbnail

[Basic NLP] Transformer (Attention Is All You Need)

Intro지난 포스트인 Sequence-to-Sequence with Attention에서 sequence-to-sequence 모델의 경우 RNN 계열의 순환 신경망을 사용함으로 인해 입력 시퀀스가 길어질 수 록 하나의 Context Vector에 모든 정보를 담기

2021년 7월 18일
·
0개의 댓글

[paper-review] Non-local Neural Networks

Wang, X., Girshick, R., Gupta, A., & He, K. (2018). Non-local neural networks.

2021년 7월 18일
·
0개의 댓글
post-thumbnail

Transformer - Attention

Transformer를 공부하면서 정리한 글입니다. 까먹지 않기 위해서 정리하고 있습니다.

2021년 7월 5일
·
2개의 댓글
post-thumbnail

Transformer Network(1)

Attention Is All You Need Rnn -> LSTM -> LSTM+Attention -> Only Attention(Transformer)로 변해왔고, Sequence의 불필요성을 알게되었고, Language는 sequence라는 고정관점을 깨게되었다

2021년 6월 8일
·
0개의 댓글
post-thumbnail

Lecture 14 - Transformer and Self-Attention

작성자: 고려대학교 언어학과 조효원

2021년 6월 2일
·
10개의 댓글
post-thumbnail

[Code Review] (2018, IEEE) Self-Attentive Sequential Recommendation (SASRec)

작성자: 고유경앞선 논문 리뷰 게시물에 이어서 이번에는 SASRec을 Pytorch로 구현한 코드를 리뷰하겠습니다. 구현된 코드는 이 깃헙에서 만나보실 수 있습니다. 참고로 Tensorflow로 구현된 코드는 논문 저자의 깃헙에서 만나보실 수 있으며, 파이토치와 텐서플

2021년 5월 16일
·
0개의 댓글
post-thumbnail

[Paper Review] (2018, IEEE) Self-Attentive Sequential Recommendation (SASRec)

작성자: 이예지 Overview 해당 논문은 기존의 sequential recommender인 Markov Chains(MC)과 RNN 계열의 단점을 동시에 보완하고자 하였습니다. 이를 위해 당시 NLP task에서 sota인 Transforme

2021년 5월 15일
·
5개의 댓글

[paper-review] Self-Attention Generative Adversarial Networks

Zhang, Han, et al. "Self-attention generative adversarial networks."

2021년 3월 16일
·
0개의 댓글
post-thumbnail

Transformer 논문리뷰 (Attention Is All You Need, NIPS 2017)

본 논문 Attention Is All You Need의 Training과 Result를 제외한 나머지 부분을 모두 정리(번역..?)했습니다.오류 지적이나 질문 너무너무 환영입니다 :)

2021년 2월 16일
·
0개의 댓글
post-thumbnail

[CS224n] Lecture 14 - Transformer and Self-Attention

작성자 : 투빅스 13기 정주원 > Contents RNN, CNN, and Self-Attention Transformer Image Transformer Music Transformer 1. RNN, CNN, and Self-Attention ![](htt

2021년 1월 20일
·
0개의 댓글

"Attention Is All You Need" Review

"Attention Is All You Need" 논문을 읽은 후 관련 자료를 정리한 내용을 바탕으로 논문 리뷰를 진행 해보겠습니다.

2020년 6월 16일
·
0개의 댓글