# encoder

10개의 포스트
post-thumbnail

[DL] Transformer

Transformer 모델의 연산 과정

2022년 3월 13일
·
0개의 댓글
post-thumbnail

Transformer_Encoder

한빛미디어 출판 "구글 BERT의 정석 " 책을 참고해서 작성하는 개인 공부 자료입니다. 혹시 내용에 저작권 등 문제가 있다면 알려주시면 감사하겠습니다.

2022년 1월 17일
·
0개의 댓글

[webSocket] 인코더/디코더 사용하기

Java API는 encoders와 decoders를 통해 WebSocket 메세지와 자바 타입간의 컨버팅을 제공하고 있다.encoder는 자바 객체를 JSON,XML, binary 형식으로 Websocket의 메세지로 전달 될 수 있게 한다.decoder는 Webso

2021년 11월 11일
·
0개의 댓글
post-thumbnail

Theory of Transformer and each component (brief summary)

Theory RNN은 병렬처리를 할 수 없다는 단점이 있습니다. 이는 이전 스텝의 결과를 이용하기 때문에 구조상 어쩔 수 없습니다. 때문에 학습시간도 상대적으로 오래 걸립니다. 또, 텍스트 데이터는 멀리 떨어진 단어와의 관계와 맥락도 파악할 수 있어야 합니다. 하지만 LSTM은 거리가 멀어질수록 이전 단어의 정보는 점점 사라져갑니다. 논문 'Attent...

2021년 11월 7일
·
0개의 댓글

Components for Attention Mechanism (brief summary)

Encoder Attention 이전의 RNN 기반의 seq2seq 모델에서는 아무리 문장 길이가 길어도 인코더가 같은 길이의 벡터를 출력해야 했습니다. 이렇게 되면 일정 길이 이상의 긴 문장들은 정보가 손실되는 문제가 발생합니다. 또, RNN의 특성인 Vanishing Gradient가 존재합니다. 이를 해결하기 위해 매 스텝의 hidden stat...

2021년 11월 7일
·
0개의 댓글
post-thumbnail

Transformer

위 블로그 내용은 아래의 유튜브 및 블로그 글을 참조했습니다.https://nlpinkorean.github.io/illustrated-transformer/@adityathiruvengadam/transformer-architecture-attention-i

2021년 11월 5일
·
0개의 댓글
post-thumbnail

BERT - Pre-training of Deep Bidirectional Transformers for Language Understanding

BERT는 대표적인 NLU 태스크에 적합한 pre-trained 모델이다. bert는 양방향 인코더를 활용해 레이블이 없는 자연어를 학습시켜 단순하게 마지막에 가까운 레이어만 fine tuning하면 당시 QA 등의 다양한 SOTA를 달성할 수 있었다. BERT는 현재

2021년 9월 12일
·
0개의 댓글
post-thumbnail

[Basic NLP] Sequence-to-Sequence with Attention

Intro최근 몇 년간 Transformer 모델의 등장 이후 BERT, GPT, RoBERTa, XLNet, ELECTRA, BART 등과 같은 언어 모델(Language Model)이 매해 새로운 SOTA를 달성하며 등장하고 있다. 특히 언어모델의 경우 self-s

2021년 7월 18일
·
0개의 댓글
post-thumbnail

Autoencoder와 LSTM Autoencoder

Intro대표적인 자기 지도 학습인 Autoencoder와 Autoencoder에 LSTM cell을 적용해 시퀀스 학습이 가능한 LSTM Autoencoder에 대해 소개한다. 이후 다음 포스팅에는 LSTM Autoencoder를 통해 미래에 발생 할 고장이나 이상신

2021년 7월 18일
·
0개의 댓글
post-thumbnail

My first Project

입사 후 내 첫 작품입사 후 내가 맡은 첫 프로젝트 Pager Encoder (무선호출기 일명 삐삐에 신호를 보내는 장치) 를 만드는 거 였다. 무선호출기가 신호를 받으려면 당연히 신호를 보내는 장치가 있어야 한다. 신호를 보내는 장치를 Encoder라고 불렀다. 우리

2021년 3월 13일
·
0개의 댓글