profile
열공 중
post-thumbnail

워드투벡터(Word2Vec) - CBOW, Skip-gram

Sparse RepresentationDistributed representationCBOW(Continuous Bag of Words)Skip-gram원-핫 벡터는 단어 간 유사도를 계산할 수 없다는 단점이 있습니다. 단어 간 유사도를 반영할 수 있도록 단어의 의미를

2021년 9월 16일
·
0개의 댓글
post-thumbnail

워드 임베딩(Word Embedding) - Sparse, Dense vector

오늘은 워드 임베딩(Word Embedding)에 대해 공부하려고 합니다. 자연어를 컴퓨터가 이해하고, 효율적으로 처리하기 위해서는 컴퓨터가 이해할 수 있도록 자연어를 적절히 변환할 필요가 있습니다.단어를 표현하는 방법에 따라서 자연어 처리의 성능이 크게 달라지기 때문

2021년 9월 16일
·
0개의 댓글
post-thumbnail

트랜스포머 구현하기 - 하이퍼파라미터, 손실함수 설정, 학습률

이제 지금까지 구현한 인코더와 디코더 함수를 조합하여 트랜스포머를 조립할 차례입니다!인코더의 출력은 디코더에서 인코더-디코더 어텐션에서 사용되기 위해 디코더로 전달해줍니다.그리고 디코더의 끝단에는 다중 클래스 분류 문제를 풀 수 있도록, vocab_size 만큼의 뉴런

2021년 9월 8일
·
0개의 댓글
post-thumbnail

디코더 구현하기 - 트랜스포머의 디코더 설계

디코더 층디코더 구현하기디코더 쌓기디코더는 인코더와 비슷하지만, 인코더보다 조금 더 복잡합니다. 인코더는 두 개의 서브 층으로 구성되지만, 디코더는 세 개의 서브 층으로 구성됩니다.셀프 어텐션인코더-디코더 어텐션피드 포워드 신경망디코더의 두번째 서브층은 멀티 헤드 어텐

2021년 9월 8일
·
0개의 댓글
post-thumbnail

인코더 구현하기 - 트랜스포머의 인코더 설계

인코더 층 만들기인코더 쌓기출처 : http://jalammar.github.io/illustrated-transformer/하나의 인코더 층은 두 개의 서브 층(sublayer)으로 나누어집니다.셀프 어텐션피드 포워드 신경망셀프 어텐션은 멀티 헤드 어텐션으로

2021년 9월 8일
·
0개의 댓글
post-thumbnail

마스킹| 패딩 마스크(Padding Mask), 룩 어헤드 마스킹(Look-ahead masking)

마스킹(Masking)이란?패딩(Padding)이란?패딩 마스크(Padding Mask)패딩 마스크 구현 방법룩 어헤드 마스킹(Look-ahead masking)마스킹이란 특정 값들을 가려서 실제 연산에 방해가 되지 않도록 하는 기법입력되는 문장의 모두 다를 것입니다.

2021년 9월 8일
·
0개의 댓글
post-thumbnail

멀티 헤드 어텐션(Multi-head Attention) 구현하기

앞에서 배운 어텐션 d_model의 차원을 가진 벡터를 num_heads로 나누었고, 그 나눈 차원을 가지는 Q, K, V 벡터로 바꿔 어텐션을 수행했습니다!논문 기준으로 512의 차원의 각 단어 벡터를 8로 나누어 64차원의 Q, K, V 벡터로 바꾸어서 어텐션을 수

2021년 9월 6일
·
0개의 댓글
post-thumbnail

스케일드 닷-프로덕트 어텐션(Scaled dot-product Attention)

Q, K, V 벡터를 얻었다면 지금부터는 기존에 배운 어텐션 메커니즘과 동일합니다. 각 Q 벡터는 모든 K 벡터에 대해서 어텐션 스코어를 구하고, 어텐션 분포를 구한 뒤에 이를 사용하여 모든 V 벡터를 가중합하여 어텐션 값 또는 컨텍스트 벡터를 구하게 됩니다. 그리고

2021년 9월 6일
·
0개의 댓글
post-thumbnail

인코더의 셀프 어텐션, 이점, Q, K, V의 정의

인코더(Encoder)인코더의 셀프 어텐션셀프 어텐션 의미와 이점Q, K, V 벡터 얻는 방법인코더의 구조에 대해 알아보겠습니다!트랜스포머는 하이퍼파라미터인 num_layers 개수의 인코더 층을 쌓습니다. 논문에서는 6개의 층을 사용했습니다. 인코더가 하나의 층이라

2021년 9월 6일
·
0개의 댓글
post-thumbnail

트랜스포머와 어텐션(Attention)

참고 자료 출처: 딥러닝을 이용한 자연어 처리 입문어텐션 (Attention)어텐션 함수(Attention Function)트랜스포머의 어텐션Encoder Self-AttentionMasked Decoder Self-AttentionEncoder-Decoder Atte

2021년 9월 6일
·
0개의 댓글
post-thumbnail

트랜스포머의 하이파라미터, 포지셔널 인코딩, 입력 이해

참고 자료 출처: 딥러닝을 이용한 자연어 처리 입문 트랜스포머와 인코더-디코더, 트랜스포머의 인코더-디코더에 대한 간단한 설명인 여기로 가주세요! 필요한 패키지 import 자연어 처리 모델은 텍스트 문장을 입력 받으면 단어를 임베딩 벡터로 변환하는 벡터화 과정을

2021년 9월 6일
·
0개의 댓글
post-thumbnail

트랜스포머, 인코더, 디코더

참고 자료 출처: 딥러닝을 이용한 자연어 처리 입문인코더와 디코더 모델은 번역기를 만드는데 사용하는 대표적인 모델입니다. 번역기는 두 아키텍처로 구성되 있는데, 인코더로 입력 문장이 들어가고, 디코더는 이에 상응하는 출력 문장을 생성합니다.그리고 이것을 훈련한다는 것은

2021년 9월 6일
·
0개의 댓글