post-thumbnail

Deep pre-trained language models

BiLSTM기반의 Contextualized Word Embedding을 사용한다. 즉 Context에 기반하여 단어를 embedding 해준다.학습은 앞 단어들을 이용하여 어떤 단어가 나올지 예측하여 word embedding을 학습시켜준다.사실 Bi-Directio

2021년 6월 9일
·
0개의 댓글

Transformer Network(2)

Positional Encoding Positional encoding을 이용하여 Sequence의 순서를 고려해주는 vector를 생성해준다. Residual connection Positional encoding이 된 vector을 self-attention의

2021년 6월 9일
·
0개의 댓글
post-thumbnail

Transformer Network(1)

Attention Is All You Need Rnn -> LSTM -> LSTM+Attention -> Only Attention(Transformer)로 변해왔고, Sequence의 불필요성을 알게되었고, Language는 sequence라는 고정관점을 깨게되었다

2021년 6월 8일
·
0개의 댓글
post-thumbnail

Machine Reading Comprehension with Attention(2)

Machine Reading Comprehension2

2021년 6월 8일
·
0개의 댓글
post-thumbnail

Machine Reading Comprehension with Attention(1)

앞서 우리는 NLP의 중요한 카테고리 중에 하나인 Translation에 대해 알아보았다. 이번에는 Machine Reading Comprehension(MRC)에 대해 알아 볼 것이다. MRC는 Machine이 사람과 유사하게 문장을 읽고 문제를 해결할 수 있도록 하

2021년 5월 6일
·
0개의 댓글
post-thumbnail

Sequence to Sequence and Attention Mechanism

우리는 RNN의 Many to One, Many to Many, One to Many와 같은 활용법부터해서 LSTM, GRU와 같은 다양한 모델까지 알아보았다. 이제는 우리는 NLP분야에서의 꽃이라고 할 수 있는, Translation 문제를 RNN을 이용하여 풀어보려

2021년 5월 2일
·
0개의 댓글
post-thumbnail

Text Classification Tasks and GLUE Benchmark

What is GLUE Benchmark 우리는 앞서 RNN모델을 이용하여, 자연어 문제를 해결하는 방법을 알아봤다. 사실 인공지능을 공부하면서 가장 중요한 부분은 데이터의 유무이다. 아무리 좋은 모델이라고해도, 데이터가 없다면 아무 의미가 없다. 이런 데이터를 모두가

2021년 5월 2일
·
0개의 댓글
post-thumbnail

Recurrent Neural Networks(RNN)

Deep Learning for Natural Language 기존의 Neural Network는 Data의 Sequential order를 고려하지 못했다. 하지만, 많은 데이터들은 sequence의 특징을 고려해줘야한다. 예시로, 주식시장의 주식 가격은 많

2021년 5월 2일
·
0개의 댓글
post-thumbnail

Word Embedding

Deep Learning for Natural Language Deep Learning은 데이터를 모델의 input으로 사용하여, 나온 output 값과 실제 정답과의 차이를 줄여가며 학습을 한다. 예를 들어 이미지가 들어왔을 때, 해당 이미지가 어떤 이미지 인지

2021년 4월 19일
·
0개의 댓글