[논문 리뷰 | 전문 해석] Attention is all you need, Transformer

유경의 공부방·2024년 5월 9일

NLP Paper transformer

Paper

목록 보기

2/4

워낙 유명한 논문이여서 이미 정리해놓은게 많지만... 나도 슬쩍

Vaswani, Ashish, et al. "Attention is all you need." Advances in neural information processing systems 30 (2017).

Prerequisite

주요기능

기존의 순환 신경망과 같은 순차적 방식이 아닌 병렬로 입력 시퀀스를 처리하는 기능이다. 긴 시퀀스의 경우 트랜스포머 모델을 순환 신경망보다 훨씬 더 빠르고 효율적으로 처리한다.
트랜스포머 모델의 구조는 기존의 순차 처리나 반복 연결에 의존하지 않고 입력 토큰 간의 관계를 직접 처리하고 이해할 수 있도록 하는 셀프 어텐션을 기반으로 작동한다.
→ 이로 인해 모델이 재귀나 합성곱 연산 없이 입력 토큰 간의 관계를 직접 모델링 할 수 있다.

장점

트랜스포머 모델의 학습은 대용량 데이터세트에서 매우 효율적이며 데이터의 양이 많은 기계 번역과 같은 작업에 적합하다. 언어 모델링 및 텍스트 분류와 같은 작업에서 매우 효과적인 것으로 나타났으며, 광범위한 자연어 처리 작업에서 높은 효율을 보인다.

분류

트랜스포머 기반 모델들은 오토인코딩(Auto-Encoding), 자기 회귀(Auto-Regressive) 방식 또는 두 개의 조합으로 학습된다.

오토 인코딩 : 랜덤하게 문장의 일부를 빈칸 토큰으로 만들고 해당 빈칸에 어떤 단어가 적절할지 예측하는 작업을 수행한다. 예측되는 토큰의 양옆에 있는 토큰들을 참조하기 때문에 양방향 구조를 가지며, 이를 인코더라고 한다.
자기 회귀 : 이전 단어들이 주어졌을 때 다음 단어가 무엇인지 맞히는 작업을 수행한다. 예측되는 토큰의 왼쪽에 있는 토큰들만 참조하기 때문에 단방향 구조를 가지며 이를 디코더라고 한다.

모델	학습구조	학습방법	학습 방향성
BERT	인코더	오토 인코딩	양방향
GPT	디코더	자기 회귀	단방향
BART	인코더 + 디코더	오토 인코딩 + 자기 회귀	양방향 + 단방향
ELECTRA	인코더 + 판별기	오토 인코딩 + 대체 토큰 탐지	양방향

Abstract

기존의 주요 sequence transduction(시퀀스 변환) 모델은 인코더와 디코더를 포함한 복잡한 RNN, CNN 모델이다. 가장 좋은 성능을 내는 모델도 attention mechanism을 통해 인코더와 디코더가 연결되어있다. 우리는 RNN과 CNN을 완전히 배제하고 Attention Mechanism만 사용한 새로운 네트워크 아키텍쳐인 Transformer를 제안한다. 두 개의 기계 번역 실험 결과, 이 모델이 품질 면에서 우수하고, 병렬화가 가능하며 훈련에 필요한 시간이 크게 줄어든다는 것을 보여준다. 우리 모델은 WMT 2014 영어-독일어 번역 작업에서 28.4 BLEU를 달성하며, 앙상블을 포함한 기존 최고 결과보다 2BLEU 이상 개선됐다. WMT2014 영어-프랑스어 번역 작업에서, Transformer는 3.5일 동안 8개의 GPU로 훈련(기존 최고의 모델들의 훈련 비용의 아주 작은 부분인)한 후 단일 모델 최고의 BLEU 점수인 41.0을 기록하였다.

1. Introduction

sequence modeling과 sequence transduction 문제에서 RNN, LSTM, gated RNN이 SOTA를 달성해왔다. 순환 언어 모델과 오토인코더 아키텍쳐의 경계를 허물기 위한 많은 노력들이 지속해왔다.

Recurrent model은 일반적으로 입력과 출력의 시퀀스의 symbol position을 따라 계산된다. 계산 시간마다 위치를 정렬하면서, 이전의 hidden state( $h_{t-1}$ )과 입력에 대한 position $t$ 함수로 hidden state( $h_t$ )를 생성한다. 이런 순차적인 특성은 본질적으로 훈련 예제 간 병렬화를 불가능하게 만든다. 그리고 이는 시퀀스 길이가 길어질수록, 메모리 제약으로 인해 예제 간 배치가 제한되는 경우에 매우 중요한 문제다. 최근 연구는 factorization tricks과 conditional computation을 통해 계산 효율성을 많이 개선시켰고, 후자의 경우에는 모델의 성능도 향상시켰다. 하지만, sequential computation의 본질적인 제약(병렬화 불가)은 아직도 남아있다.

Attention Mechanism은 다양한 분야의 설득력있는 sequence modeling과 transduction model에서 필수품이 되었으며, 입력 또는 출력 시퀀스에서의 거리(기존 모델은 이 거리에 많이 의존)에 관계없이 의존성을 모델링 할 수 있게 한다. 하지만, 소수의 경우를 제외하고는 이 attention mechanism은 recurrent network에 함께 사용된다.

이번 연구에서 우리는 Transformer를 제안한다. 이 모델 아키텍쳐는 입력과 출력 간의 global dependency를 뽑아내기 위해 순환 모듈을 배제하고 대신에 attnetion mechanism에만 의존했다. Transformer는 상당히 많은 병렬화가 가능하고, 8대의 P100 GPU만으로 12시간보다 적은 훈련 시간 만에 새로운 SOTA를 달성하였다.

2. Background

sequential computation을 줄이는 것이 목표인 것은 Extended Neural GPU, ByteNet, ConvS2S에서도 다뤄졌다. 이 연구들은 입력과 출력의 포지션에서 hidden representation을 병렬로 계산하기 위해 모두 CNN을 basic building block으로 사용했다. 이러한 모델들은 임의의(독단적인) 입력 또는 출력 위치 간의 신호를 연결시키기 위해 요구되는 작업의 수가 위치 간의 거리에 따라 증가한다(ConvS2S의 경우 선형적으로, ByteNet의 경우 로그로). 이로 인해 먼 위치 간의 dependency(종속성, 의존성)을 학습시키기 어려워진다. Transformer에서는 이를 일정한 작업 수로 줄였다. 비록, 평준화된 attention-weighted position 때문에 effective resolution(유효 해상도?→픽셀의 수인듯)가 낮아져 비용이 들긴 하지만, 이는 후에 말한 Multi-Head Attention으로 해결했다.

Self-attention(=intra-attention라고도 불림)은 단일 sequence에서 다른 position을 연결시켜 sequence의 표현을 계산하기 위한 attention mechanism이다. Self-attention은 문장 이해, 요약, 텍스트 독립… 등 다양한 NLP task에서 성공적으로 사용됐다.

End-end memory network는 sequence-aligned recurrence보다 recurrent attention mechanism에 기반한다. 그리고 이는 간단한 언어 질문 응답과 언어 모델 작업에서 성공적으로 사용된다.

하지만, 우리의 지식에서, Transformer는 sequence-aligned rnn/cnn 을 사용하지 않고 입력과 출력의 표현을 계산하기 위해 오로지 self-attention에만 의존하는 첫 transduction model 이다.

3. Model Architecture

Intro

가장 경쟁력 있는 neural sequence transduction 모델은 대부분 encoder-decoder 구조를 가지고 있다. 여기서 encoder는 기호표현 상 $(x_1, x_2, \cdots, x_n)$ 의 input sequence를 연속적인 표현인 $\mathbf z = (z_1, \cdots, z_n)$ 시퀀스로 매핑한다. z가 주어지면 디코더는 출력 시퀀스 $(y_1, \cdots, y_m)$ 을 한 번에 하나씩 생성한다. 각 단계에서 모델은 auto-regressive(자기 회귀적)이다. 즉, 다음을 생성할 때, 이전에 생성된 결과물을 추가 input으로 넣는다.

Transformer는 인코더와 디코더 둘다 stacked self-attention과 point-wise, fully connected layer를 활용해 전반적인 아키텍쳐를 구성한다. (Fig1 왼쪽-인코더, 오른쪽-디코더)

3.1 Encoder and Decoder Stacks

Encoder

인코더는 6개의 identical layer로 이루어져있다.
각 identical layer는 2개의 sub-layer를 가진다.
- 첫 번째 sub-layer는 multi-head self-attention 메커니즘
- 두 번째 sub-layer는 간단한 position-wise fully connected feed-forward network
두 sub-layer 마다 layer normalization 후에 residual connection을 적용했다.
즉, 각 sub-layer의 결과는 $LayerNorm(x + Sublayer(x))$ 이다.
residual connection을 쉽게하기 위해, embedding layer를 포함한 모든 sub-layer들의 output의 차원을 512로 맞췄다. ( $d_{model}$ = 512) → Embedding Dimension

Decoder

디코더도 인코더와 같이 6개의 identical layer로 구성된다.
인코더 레이어에 있는 2개의 sub layer에 더해서, 디코더는 인코더 스택(6개의 인코더 결과)의 출력에 multi-head attention을 수행하는 3번째 sub-layer를 추가했다.
인코더와 비슷하게, 각 sub-layer마다 residual connection을 추가하고, layer normalization도 수행된다.
또한, 디코더 스택의 self-attention sub-layer를 수정해 이전의 position이 이후의 position에 관심을 가지는 것을 막았다. → Masking
이러한 Masking은 출력 임베딩이 한 position만큼 offset 되어있게 한다.
→ 이는 position i의 예측이 i보다 작은 position에서 알려진 출력에만 의존할 수 있도록 보장한다.

3.2 Attention

Attention function은 query와 key-value 쌍을 출력에 매핑하는 것이다. (query, keys, values, 출력 모두 벡터이다.) 이 출력값은 value들의 weighted sum으로 계산되고, 각 값에 할당된 weight는 각 key에 상응하는 query의 compatibility function(호환성 함수???) 에 의해 계산된다.

3.2.1 Scaled Dot-Product Attention

우리는 특정 attention을 “Scaled Dot-Product Attention”이라고 부른다(Fig2). 입력은 $d_k$ 차원의 쿼리와 키, 그리고 $d_v$ 차원의 값으로 구성된다. 우리는 모든 키와 query 간 dot product를 계산하고, 각각을 $\sqrt {d_k}$ 로 나눈어 value마다 weight를 얻기 위해 softmax function을 취한다.

실제로, 우리는 일련의 쿼리 셋을 행렬 Q로 묶는 동시에 attention function을 계산한다. keys와 values도 행렬 K와 V로 함께 패킹된다. 우리는 출력 행렬을 다음과 같이 계산한다.

Attention(Q, K, V) = softmax({QK^T \over \sqrt {k_k}})V

가장 일반적으로 사용되는 attention function들은 additive attention과 dot-product attention이다. dot-product attention은 $1\over \sqrt {d_k}$ 의 스케일링을 제외하곤, 우리의 알고리즘과 동일하다. additive attention은 단일 은닉층이 있는 feed forward network를 사용하여 compatibility function (호환성 함수 - 찾아봐!!!!)를 계산한다. 두 방법은 이론 복잡도는 비슷하지만, 실제로는 dot-product attention이 최적화된 행렬 곱셈 코드(multiplication code)를 사용할 수 있기 때문에 더욱 빠르고, 공간 효율성이 좋다.

작은 값의 $d_k$ 에 대해서는 두 방식 모두 유사한 성능을 보이지만, 더욱 큰 값의 $d_k$ 에 대해서는 스케일링 없이 additive attention이 dot product attention을 능가한다. 우리는 큰 값의 $d_k$ 에 대해서는 softmax function을 밀어낼만큼(무시할만큼) dot product가 매우 크게 커져서(분자가 너무 커지겠지!), 그레디언트가 작아지게 되는 것으로 생각한다. 이러한 현상을 해결하기 위해 우리는 dot product에 $1\over \sqrt {d_k}$ 의 스케일링을 적용했다.

3.2.2 Multi-Head Attention

$d_{model}$ -dimensional keys, values, queries 와 함께 single attention function를 적용하는 대신, queries, keys, values를 h번 서로 다른 학습된 linear projection을 $*d_k, d_k$ 와 $d_v$ 차원(이게 맞니?)* 에 linear하게 project를 하는게 더 효과적이라는 것을 찾았다. 이렇게 project된 queries, keys, values는 병렬적으로 attention function을 거치고, $d_v$ 차원의 출력 값을 만든다. 이 값들을 concatenate한 다음에, 다시 한 번 Project시켜 final value를 만든다.

Multi-head attention은 모델이 다른 position의 다른 representation subspace에서 정보에 공동으로(? jointly) 참조하는 것을 허용한다. 단일 attention head에서는, 평균화가 이들을 억제한다.(? 그래서 multi-head attention이 좋다는 뜻인듯.)

MultiHead(Q, K, V) = Concat(head_1, \cdots, head_h)W^O

where \ head_i = Attention(QW_i^Q, KW_i^K, VW_i^V )

$W_i^Q \in \mathbb R^{d_{model}\times d_k}$
$W_i^K \in \mathbb R^{d_{model}\times d_k}$
$W_i^V \in \mathbb R^{d_{model}\times d_v}$ ←
$W_i^O \in \mathbb R^{hd_v\times d_{model}}$ ← 최종 output

이 연구에서는 h = 8이고, $d_k = d_v = d_{model}/h =64$

→ 각 head에서 차원을 줄이기 때문에, 전체 차원에 대한 전체 계산 비용은 single-head attention과 동일하다. (구현을 위한 Trick!, 구현과정에서 multihead attention의 overhead를 줄인다.)

3.2.3. Applications of Attention in our Model

Transformer는 3가지 다른 방법을 통해 multi-head attention을 사용한다.

encoder-decoder attention 레이어에서, queries는 이전의 디코더 레이어에서 가져오고, memory keys와 value는 인코더의 출력값에서 가져온다. 이러한 방식은 디코더의 모든 position이 input sequence의 모든 position을 참조할 수 있게 한다. 이는 전형적인 seq2seq 모델에서 encoder-decoder attention mechanism과 같다.
encoder에 self-attention layer가 포함되어 있다. self-attention layer에서 모든 key, values, queries는 모두 같은 곳(인코더의 이전 레이어에서의 출력값)에서 나왔다. 인코더의 각 position은 인코더의 이전 레이어의 모든 포지션을 참조할 수 있다.
비슷하게, decoder의 self-attention layer도 디코더의 각 포지션이 해당 위치를 포함하여 포지션까지 모든 포지션을 참조할 수 있게 한다. 이때, 디코더의 auto-regressive property을 보존하기 위해 leftward information flow을 막아줘야할 필요가 있다(무슨말??). 이를 위해 우리는 scaled-dot product attention에서 모든 softmax의 input value 중 illegal connection에 해당하는 값을 $-\infin$ 로 masking out해서 구현했다(Fig2). (뭐지?)

3.3 Position-wise Feed-Forward Networks

인코더와 디코더의 각 layer에는 attention sub-layer 외에도 각 포지션에 독립적으로 동일하게 적용되는 fully connected feed-forward network가 포함되어 있다. 이는 ReLU 활성화함수가 있는 두개의 선형 변환으로 구성되어 있다.

FFN(x) = max(0, xW_1+ b_1)W_2 + b_2

선형 변환은 서로 다른 position에서 동일하지만, 레이어에서 레이어간 다른 parameter를 사용한다. 이를 표현하는 다른 방법은 커널 크기가 1인 2개의 convolution을 사용하는 것이다. 입력과 출력의 차원은 $d_{model} = 512$ 이며, 내부 레이어의 차원은 $d_{ff}=2048$ 이다.

3.4 Embeddings and Softmax

다른 sequence transduction model과 마찬가지로, 우리는 입력 토큰과 출력 토큰을 $d_{model}$ 차원의 vector로 변환하기 위해 학습된 embedding을 사용한다. 또한, 우리는 디코터의 출력을 예측된 다음 토큰의 확률로 변환하기 위해 일반적으로 학습된(일반화된) linear transformation과 softmax function을 사용한다. transformer 모델에서, 우리는 2개의 임베딩 레이어와 pre-softmax 선형 변환 간에 같은 weight matrix를 공유한다. 임베딩 레이어에서는, weight들에 $\sqrt{d_{model}}$ 을 곱한다.

3.5 Positional Encoding

Transformer는 어떤 recurrence, convolution도 사용하지 않기 때문에, transformer 모델이 시퀀스의 순서를 사용하기 위해서는 우리는 반드시 sequence 내부 토큰의 상대적, 절대적 포지션에 대한 몇 가지 정보를 주입해야한다. 이를 위해, 우리는 인코더 및 디코더 스택의 맨 아래에 “positional encoding”을 입력 임베딩으로서 추가한다. → 위치에 대한 임베딩이 필요하다. (Positional Encoding 필요한 이유, Input Embedding Matrix와 Element wise로 더한다.) positional encoding은 임베딩과 같은 차원인 $d_{model}$ 차원을 가지므로, 두 값이 더해질 수 있다. positional encoding은 학습된 것을 사용하거나, 고정된 것을 사용하는 등의 여러가지를 선택할 수 있다.

본 연구에서는, 우리는 다른 주기의(?) sine & cosine 함수를 사용한다.

PE_{(pos, 2i)} = sin(pos/10000^{2i/d_{model}}) \\ PE_{(pos, 2i+1)} = cos(pos/10000^{2i/d_{model}})

여기서 pos는 위치를 나타내며 i는 차원이다. 즉, 위치 인코딩의 각 차원은 sinusoid(사인파)에 해당한다. 파장은 $2\pi$ 에서 $10000 \cdot2\pi$ 까지의 등비수열을 형성한다. 이 함수를 선택한 이유는 고정된 오프셋 k에 대해 임의의 $PE_{pos+k}$ 가 $PE_{pos}$ 의 선형 함수로 표현될 수 있기 때문에 모델이 relative position(상대적인 위치)에 대해 쉽게 참조할 수 있을 것이라 가설을 세웠기 때문이다.

또한, 학습가능한 위치 임베딩(positional embedding)을 사용하는 실험도 진행했으며, 두 버전이 거의 동일한 결과를 냈다(Table 3 row[E] - 잉 이걸로 어떻게 봐). 우리는 훈련 중에 발견된 시퀀스 길이보다 더 긴 시퀀스에 대해 모델이 추론할 수 있도록 sine 함수를 선택했다.

→ sine/cos 같은 주기함수로 fix하여 위치 임베딩을 하는 경우가 있고, 학습 가능하게 임베딩 하는 경우가 있는데, 본 논문에서는 둘 다 해봤고, 성능차이는 별로 없다고 함. 다만, 더 긴 시퀀스가 들어왔을 때 주기함수로 fix된 위치 임베딩을 사용하는게 더 성능이 좋아서 주기함수 사용.

4. Why Self-Attention

이 섹션에서 우리는 $(x_1, \cdots, x_n)$ 으로 표현되는 하나의 variable-length sequence(변수 길이 시퀀스)을 같은 길이 시퀀스 $(z_1, \cdots, z_n)$ 으로 매핑하는데 일반적으로 사용되는 recurrent와 convolution 레이어의 self-attention의 다양한 측면을 비교한다.( $x_i, z_i \in \mathbb R^d$ ) 이러한 레이어는 전형적인 인코더 또는 디코더 sequence transduction의 hidden layer이다. 우리의 self-attention 사용의 동기(?motivating)로 우리는 세가지의 사항을 고려했다.

하나는, 레이어당 총 계산복잡성이다. 다른 하나는 병렬화할 수 있는 계산량으로, sequential operation(작업)이 요구하는 최소의 숫자로 측정된다.

세번째는 네트워크에서 long-range dependency(장기 의존성-?) 사이의 길이이다(?????). long-range dependency를 학습하는 것은 많은 sequence transduction 작업에서 key challenge이다. 이러한 dependency를 학습하는데 영향을 미치는 주요 요인 중 하나는 네트워크에서 순회해야하는 forward와 backward의 path 길이이다. 입력과 출력 sequence에서 position 조합간의 길이가 짧을 수록, long-range dependency를 학습하기가 쉬워진다. 때문에, 우리는 다른 레이어 타입으로 구성된 네트워크에서 아무 입력과 출력 position 간의 maximum path length도 비교했다.

Table 1을 주목하면, self-attention layer는 모든 position을 일정한 수(상수)의 sequentially executed operation(순차적 실행 연산)으로 연결하는 반면, recurrent layer는 $O(n)$ 의 sequential operation(순차적 연산)을 요구한다. 계산 복잡성 측면에서, sequence length $n$ 이 representation 차원 $d$ 보다 작다면(대부분의 NLP SOTA 모델에서 사용되는 케이스), self-attention layer는 recurrent layer보다 빠르다. 매우 긴 시퀀스를 다루는 작업의 계산 성능을 향상시키기 위해, self-attention은 각각의 output position를 중심으로 주변의 input seqeunce의 neighborhood size를 r로 제한할 수 있다. (뭔말인데;) 이는 maximum path의 길이 $r$ 로 제한할 수 있다. 이는 maximum path length를 $O(n/r)$ 로 증가시킬 수 있다. 우리는 나중에 이 접근법에 더 조사할 계획이다.

$k<n$ 인 kernel width 의 single convolution layer는 입력과 출력 position의 모든 쌍을 연결하지 않는다. 이를 위해 contiguous kernel(인접하는? 연속적인? 커널)의 경우에는 $O(n/k)$ 의 스택이 필요하고, dilated convolution(확장된 컨볼루션)의 경우에는 $O(log_k(n))$ 이 필요하다. 이는 네트워크 내의 모든 두 position 사이의 최장 경로를 증가시킨다. Convolution layer는 요소 $k$ 때문에 일반적으로 Recurrent Layer보다 비용이 더 많이 든다. 하지만, 분리 가능한 합성곱은 복잡성을 $O(k\cdot n \cdot d + n \cdot d^2)$ 로 줄인다. 하지만, $k = n$ 인 경우에도 분리 가능한 합성곱의 복잡성은 우리 모델에서 채택하는 self-attention layer와 point-wise feed-forward layer의 조합과 동일하다.

부차적인 이점으로, self-attention은 더욱 해석가능한 모델(interpretable model)을 생성할 수 있다. (→ 문장을 생성할 때 소스 문장에서 어떤 단어를 많이 참고했는지 시각화 가능하기 때문) 우리는 부록에서 우리 모델의 attention distribution을 분석하고, 제시하고, 논의한다. 개별적인 attention head는 다른 task를 명확하게 수행할 뿐만 아니라, 문장의 구문적, 의미적 구조를 잘 연관시키는 성질을 보이기도 한다.

5. Training (간단히)

5.1 Training Data and Batching

English-German

WMT 2014 English-German dataset
4.5백만 sentence pairs
문장들은 byte-pair 인코딩으로 인코딩 되어있음
37000개의 토큰이 source-target vaca로 공유되어 있음

English-French

WMT 2014 English-French dataset
36M sentences와 3200 word-piece voca로 쪼개진 토큰들로 구성
약, 25000개의 source 토큰과 25000개의 target 토큰으로 구성

5.2 Hardware and Schedule

8개의 NVIDIA P100 GPU로 학습
base model은 12시간 동안 (100,000 step) 학습시킴
big model은 3.5일 동안 (300,000 step) 학습시킴

5.3 Optimizer

Adam Optimizer 사용
$\beta_1 = 0.9,\ \beta_2 = 0.98, \ \epsilon = 10^{-9}$
$lrate = d_{model}^{-0.5} \cdot min(step\_num^{-0.5}, step\_num \cdot warmup\_steps^{-1.5})$
$warmup\_step = 4000$

5.4 Regularization

세 가지 regularization을 사용함

Residual Dropout

각 sub-layer의 output에 dropout 적용
임베딩의 합과 positional 인코딩에 dropout 적용 ( $P_{drop}=0.1$ )

Label Smoothing

학습 중에 label smoothig 적용 ( $\epsilon_{ls} = 0.1)$

6. Results (간단히)

6.1 Machine Translation

→ BLEU와 PPL 평가 방법에 대해서 공부하기!

→ BLEU(BiLingual Evaluation Understudy)는 높을 수록 좋고, PPL(PerPLexity)는 낮을 수록 좋다. (PPL은 번역의 성능을 직접적으로 반영하는 수치라고 보기에는 어렵다.)

Transformer의 다양한 구성요소의 중요성 평가를 위함
Table 3 (A)에서는 attention heads의 수와 어텐션 키(key) 및 값(value) 차원을 다양화하여 계산 양을 일정하게 유지했음 → single head attention은 최적 설정보다 BLEU가 0.9정도 낮지만, 너무 많은 head (? key, value의 차원 아닌가?)로 인해 quality가 떨어진다.
Table 3 (B)에서는 attention key의 크기( $d_k$ )를 줄이면 품질이 저하됨을 알 수 있음 → compatibility(호환성)을 결정하는 것이 쉽지 않으며, 더 정교한 compatilbility function이 dot product보다 더 유리할 수 있다는 뜻이 됨
Table 3 (C), (D)에서 big model이 더 좋은 결과를 낸다는 것을 확인, dropout이 과적합을 피하는데 매우 도움이 되는 것을 확인
Table 3 (E)에서 우리는 사인함수를 이용한 positional encoding을 이미 학습된 positional embedding으로 대체했고, base model result와 거의 동일한 결과를 얻음

7. Conclusion

본 연구에서, 우리는 Transforemr를 제안했다. 이는 일반적으로 사용하는 multi-head self attention을 포함한 encoder-decoder 아키텍쳐의 recurrent layer 대신에, sequence transduction을 사용하지 않고, 완전히 attention만을 이용한 첫 모델이다.

번역 작업에서 Transformer는 recurrent, convolution layer보다 훨씬 빠르게 훈련된다. WMT 2014 English-German과 WMT 2014 English-French 변역 작업에서 SOTA를 달성했다.

우리는 어텐션 기반 모델을 다른 task에도 적용할 계획이다. 우리는 Transformer의 attention mechanism가 텍스트 처리 이외에도 image, audio and audio 등의 large inputs, outputs 문제를 효과적으로 제어할 것이다.

Transformer 논문은 워낙 유명하고, 중요한 논문인지라 잘 알아두는게 좋을 것 같다! 구현도 직접 해봐야지!
그나저나 velog는 latex 기반 수식은 인식을 못하는 것 같다... align해주고 싶었는데ㅠ
이미지 크기도 조절하는 방법...있겠지만 귀찮다... 하하

유경의 공부방

이전 포스트

[논문 리뷰 | 전문 해석] Boundary IoU: Improving Object-Centric Image Segmentation Evaluation

다음 포스트