# Attention

36개의 포스트
post-thumbnail

[Week 6] Sequence to Sequence with Attention

LSTM은 기존의 RNN의 Long Term Dependency 문제를 해결했다.하지만 RNN 구조가 가지고 있는 근본적 한계의 문제로 Long Term Dependency에 문제에대해 완전히 자유로울 수 없었다.왜냐하면, 엄청나게 긴 Time Step이 지나게 되면

2일 전
·
0개의 댓글
post-thumbnail

부스트캠프 week7 day1 Transformer

Bidirectional RNN에 대한 설명은 여기를 참조하자.이 방법을 쓰면서 사람들은 RNN이 가지고 있는 '한 방향으로만 정보를 습득한다'는 단점을 해소할 수 있게 되었다. 어떠한 타임 step에서 Forward와 Backward에서 나온 정보를 바탕으로 앞 뒤

5일 전
·
0개의 댓글
post-thumbnail

Attention

Seq2Seq는 RNN의 구조 중 many to many에 해당한다. 즉, 입출력 모두 sequenece인 word 단위의 문장.위 그림은 Dialog system(e.g., chat bot)이다. 입력 문장을 받아들이는 부분이 encoder, 출력 문장을 생성하는 부

2021년 9월 8일
·
0개의 댓글
post-thumbnail

Lecture 13 : Attention

강의 영상 주소 : https://www.youtube.com/watch?v=YAgjfMR9R_M&list=PL5-TkQAfAZFbzxjBHtzdVCWE0Zbhomg7r&index=15해당 슬라이드: https://web.eecs.umich.edu/~

2021년 9월 4일
·
0개의 댓글

[paper-review] Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

Liu, Z., Lin, Y., Cao, Y., Hu, H., Wei, Y., Zhang, Z., ... & Guo, B. (2021). Swin transformer: Hierarchical vision transformer using shifted windows.

2021년 8월 27일
·
0개의 댓글
post-thumbnail

HiddenCut: Simple Data Augmentation for Natural Language Understanding with Better Generalization

Contents 본 포스트는 pre-trained language model을 task에 fine-tuning 수행 시, drop out을 기반으로 data augmentation을 하는 방법인 HiddenCut을 다룹니다. NLP에서 대용량의 데이터를 이용하여 la

2021년 8월 26일
·
0개의 댓글
post-thumbnail

어텐션-Attention(2)

위 주제는 밑바닥부터 시작하는 딥러닝2 8강, CS224d를 바탕으로 작성한 글 입니다.이전글에서 Attention의 구현과 "날짜"데이터를 사용해서 학습시켜보고 기존의 seq2seq모델과 비교를 해보았다.오늘은 "어텐션(Attention)"에서 심층적으로 몇가지의 기

2021년 8월 17일
·
0개의 댓글
post-thumbnail

어텐션-Attention(1)

위 주제는 밑바닥부터 시작하는 딥러닝2 4강, CS224d를 바탕으로 작성한 글 입니다. 이전글에서 Seq2seq 구현과 개선할 수 있는 기법 중에 입력 데이터 반전(Reverse)과 엿보기(Peeky)를 공부해봤다. 오늘은 "어텐션(Attention)"을 공부해 볼

2021년 8월 17일
·
0개의 댓글
post-thumbnail

Attention & Transformers

Sequence to Sequence model은 sequence를 입력으로 받아 다른 도메인의 sequence를 출력으로 반환하는 모델으로 Machine Translation, Chatbot,Text Summarization, Speech to Textr 등에서 사용

2021년 8월 9일
·
0개의 댓글
post-thumbnail

Stand-Alone Self-Attention in Vision Models (NIPS 2019) 논문리뷰

original paper현대 computer vision의 기본적인 building block으로 쓰이는 Convolution.그런데 Convolution으로는 입력 데이터상의 long-range dependency 식별에 어려움이 있다.이 문제를 해결하기 위한 다양

2021년 8월 9일
·
0개의 댓글
post-thumbnail

[논문리뷰] ON THE RELATIONSHIP BETWEEN SELF-ATTENTION AND CONVOLUTIONAL LAYERS

Paper: ON THE RELATIONSHIP BETWEEN SELF-ATTENTIONAND CONVOLUTIONAL LAYERS

2021년 8월 9일
·
0개의 댓글
post-thumbnail

[ASC] Aspect의 주목도가 높았던 단어들을 적극 활용하여 감성분석 해보기

Aspect 단어에 대해 높은 어텐션 스코어를 갖는 단어들과 [SEP], [CLS], aspect 단어들을 여러 방법으로 함께 encoding 시켜서 Aspect에 대한 감성분석을 수행하는 모델들을 실험해보았다.

2021년 8월 7일
·
0개의 댓글
post-thumbnail

[ASC] BERT의 attention은 aspect와 관련된 단어에 잘 주목하고 있었을까?

BERT attention score를 통해 aspect word가 관련된 부분(의견)에 주목하고 있었을지 파악해본다.

2021년 8월 7일
·
0개의 댓글
post-thumbnail

An_Image_is_worth_16x16_words

Paper Name: An_Image_is_worth_16x16_words

2021년 8월 1일
·
0개의 댓글
post-thumbnail

Multi-Head Attention: Collaborate Instead of Concatenate (2020) / 논문리뷰

기존의 Multi Head Attention(MHA)이 파라미터 사용 측면에서 비효율적인 측면이 있으며, 이를 head들간 공유가능한 파라미터를 사용함으로써 해소시키려는 시도의 논문이다. [paper] ICLR 2021에 제출되었으나 아래의 이유로 기각된 논문 ㅠㅠ

2021년 7월 20일
·
0개의 댓글
post-thumbnail

[Basic NLP] Transformer (Attention Is All You Need)

Intro지난 포스트인 Sequence-to-Sequence with Attention에서 sequence-to-sequence 모델의 경우 RNN 계열의 순환 신경망을 사용함으로 인해 입력 시퀀스가 길어질 수 록 하나의 Context Vector에 모든 정보를 담기

2021년 7월 18일
·
0개의 댓글
post-thumbnail

[Basic NLP] Sequence-to-Sequence with Attention

Intro최근 몇 년간 Transformer 모델의 등장 이후 BERT, GPT, RoBERTa, XLNet, ELECTRA, BART 등과 같은 언어 모델(Language Model)이 매해 새로운 SOTA를 달성하며 등장하고 있다. 특히 언어모델의 경우 self-s

2021년 7월 18일
·
0개의 댓글

6/17 RNN, LSTM, Attention

이전까지 학습했던 Word2Vec, fastText같은 경우는 단어 및 문장을 임베딩했다면 이제 임베딩한 text들을 여러가지 모델들을 통해 사용해보자.언어 모델 : 문장과 같은 단어 시퀀스에서 각 단어의 확률을 계산하는 모델, Word2Vec도 여기에 해당함Word2

2021년 6월 18일
·
0개의 댓글