# encoder

gooook

Transformer 모델의 연산 과정

byeo1019

한빛미디어 출판 "구글 BERT의 정석 " 책을 참고해서 작성하는 개인 공부 자료입니다. 혹시 내용에 저작권 등 문제가 있다면 알려주시면 감사하겠습니다.

burub3

Java API는 encoders와 decoders를 통해 WebSocket 메세지와 자바 타입간의 컨버팅을 제공하고 있다.encoder는 자바 객체를 JSON,XML, binary 형식으로 Websocket의 메세지로 전달 될 수 있게 한다.decoder는 Webso

mochafreddo

Theory RNN은 병렬처리를 할 수 없다는 단점이 있습니다. 이는 이전 스텝의 결과를 이용하기 때문에 구조상 어쩔 수 없습니다. 때문에 학습시간도 상대적으로 오래 걸립니다. 또, 텍스트 데이터는 멀리 떨어진 단어와의 관계와 맥락도 파악할 수 있어야 합니다. 하지만 LSTM은 거리가 멀어질수록 이전 단어의 정보는 점점 사라져갑니다. 논문 'Attent...

mochafreddo

Encoder Attention 이전의 RNN 기반의 seq2seq 모델에서는 아무리 문장 길이가 길어도 인코더가 같은 길이의 벡터를 출력해야 했습니다. 이렇게 되면 일정 길이 이상의 긴 문장들은 정보가 손실되는 문제가 발생합니다. 또, RNN의 특성인 Vanishing Gradient가 존재합니다. 이를 해결하기 위해 매 스텝의 hidden stat...

js8456

위 블로그 내용은 아래의 유튜브 및 블로그 글을 참조했습니다.https://nlpinkorean.github.io/illustrated-transformer/@adityathiruvengadam/transformer-architecture-attention-i

stapers

BERT는 대표적인 NLU 태스크에 적합한 pre-trained 모델이다. bert는 양방향 인코더를 활용해 레이블이 없는 자연어를 학습시켜 단순하게 마지막에 가까운 레이어만 fine tuning하면 당시 QA 등의 다양한 SOTA를 달성할 수 있었다. BERT는 현재

jaehyeong

Intro최근 몇 년간 Transformer 모델의 등장 이후 BERT, GPT, RoBERTa, XLNet, ELECTRA, BART 등과 같은 언어 모델(Language Model)이 매해 새로운 SOTA를 달성하며 등장하고 있다. 특히 언어모델의 경우 self-s

jaehyeong

Intro대표적인 자기 지도 학습인 Autoencoder와 Autoencoder에 LSTM cell을 적용해 시퀀스 학습이 가능한 LSTM Autoencoder에 대해 소개한다. 이후 다음 포스팅에는 LSTM Autoencoder를 통해 미래에 발생 할 고장이나 이상신

zhemdrawer

입사 후 내 첫 작품입사 후 내가 맡은 첫 프로젝트 Pager Encoder (무선호출기 일명 삐삐에 신호를 보내는 장치) 를 만드는 거 였다. 무선호출기가 신호를 받으려면 당연히 신호를 보내는 장치가 있어야 한다. 신호를 보내는 장치를 Encoder라고 불렀다. 우리