# decoder

12개의 포스트
post-thumbnail

[NLP] Transformer와 Self-Attention

Encoder-Decoder 구조의 RNN을 모두 Self-Attention으로 대체한 모델인 Transformer에 대해 배운다.

2022년 7월 23일
·
0개의 댓글
·
post-thumbnail

[NLP] Encoder∙Decoder 구조와 Seq2Seq, Seq2Seq with Attention

Encoder∙Decoder 구조를 활용해 sequence를 처리하고 sequence를 출력으로 내보내는 Seq2Seq 구조에 대해 알아보고 Seq2Seq에 Attention을 적용한 Seq2Seq with Attention에 대해 배운다.

2022년 7월 20일
·
0개의 댓글
·
post-thumbnail

[DL] Transformer

Transformer 모델의 연산 과정

2022년 3월 13일
·
0개의 댓글
·
post-thumbnail

Transformer_Decoder

한빛미디어 출판 "구글 BERT의 정석 " 책을 참고해서 작성하는 개인 공부 자료입니다. 혹시 내용에 저작권 등 문제가 있다면 알려주시면 감사하겠습니다.

2022년 1월 21일
·
0개의 댓글
·

[webSocket] 인코더/디코더 사용하기

Java API는 encoders와 decoders를 통해 WebSocket 메세지와 자바 타입간의 컨버팅을 제공하고 있다.encoder는 자바 객체를 JSON,XML, binary 형식으로 Websocket의 메세지로 전달 될 수 있게 한다.decoder는 Webso

2021년 11월 11일
·
0개의 댓글
·
post-thumbnail

Theory of Transformer and each component (brief summary)

Theory RNN은 병렬처리를 할 수 없다는 단점이 있습니다. 이는 이전 스텝의 결과를 이용하기 때문에 구조상 어쩔 수 없습니다. 때문에 학습시간도 상대적으로 오래 걸립니다. 또, 텍스트 데이터는 멀리 떨어진 단어와의 관계와 맥락도 파악할 수 있어야 합니다. 하지만 LSTM은 거리가 멀어질수록 이전 단어의 정보는 점점 사라져갑니다. 논문 'Attent...

2021년 11월 7일
·
0개의 댓글
·

Components for Attention Mechanism (brief summary)

Encoder Attention 이전의 RNN 기반의 seq2seq 모델에서는 아무리 문장 길이가 길어도 인코더가 같은 길이의 벡터를 출력해야 했습니다. 이렇게 되면 일정 길이 이상의 긴 문장들은 정보가 손실되는 문제가 발생합니다. 또, RNN의 특성인 Vanishing Gradient가 존재합니다. 이를 해결하기 위해 매 스텝의 hidden stat...

2021년 11월 7일
·
0개의 댓글
·
post-thumbnail

Transformer

위 블로그 내용은 아래의 유튜브 및 블로그 글을 참조했습니다.https://nlpinkorean.github.io/illustrated-transformer/@adityathiruvengadam/transformer-architecture-attention-i

2021년 11월 5일
·
0개의 댓글
·
post-thumbnail

[Basic NLP] Sequence-to-Sequence with Attention

Intro최근 몇 년간 Transformer 모델의 등장 이후 BERT, GPT, RoBERTa, XLNet, ELECTRA, BART 등과 같은 언어 모델(Language Model)이 매해 새로운 SOTA를 달성하며 등장하고 있다. 특히 언어모델의 경우 self-s

2021년 7월 18일
·
0개의 댓글
·
post-thumbnail

Autoencoder와 LSTM Autoencoder

Intro대표적인 자기 지도 학습인 Autoencoder와 Autoencoder에 LSTM cell을 적용해 시퀀스 학습이 가능한 LSTM Autoencoder에 대해 소개한다. 이후 다음 포스팅에는 LSTM Autoencoder를 통해 미래에 발생 할 고장이나 이상신

2021년 7월 18일
·
0개의 댓글
·
post-thumbnail

아두이노 3

반가산기, 전가산기, 정보처리기사 예제

2021년 3월 18일
·
0개의 댓글
·