[14기 이혜린]

기존 추천시스템 NLP 모델

• Transformer 등의 undirectional model은 시퀀스를 왼쪽에서 오른쪽 순서로 읽어가며 빈칸을 예측함
• 추천시스템의 경우 자연어와 달리 natural order가 존재하지 않고 품사 제한이 없고 관측할 수 없는 다양한 외부요인 때문에 사용자의 행동순서에서 숨겨진 representation이 제한됨
• 그래서 Deep한 양방향 Self-attention 모델로서의 BERT를 추천시스템에 제안

BERT (Bidirectional Encoder Representation from Transformers)

• 문자를 양방향으로 이해해서 숫자의 형태로 만들어주는 모델
• Transformer를 기반으로 문장 전체를 모델에 알려주고 [MASK]에 해당하는 단어를 예측하게 됨.
• Pre-training 부분 : unlabeled data로 사전학습
• Fine-tuning 부분 : 특정 태스크를 가지고 있는 labeled data로 전이학습

1. Input Representation
   3가지 임베딩

• WordPiece Embedding
  • 문장을 토큰 단위로 분리 → playing = play + ##ing → 신조어, 오탈자 등의 흔치않은 단어도 학습 가능
  • Special token : [CLS] (문장의 맨 처음 등장. 모든 벡터를 참고한 뒤에 context vector로 쓰임), [SEP] (두 문장을 구분)
• Segment Embedding
  • 두 개의 다른 문장을 구분
• Positional Embedding
  • cos, sin 함수를 이용해 토큰들의 상대적 위치정보를 알려줌

2. Pre-training

• Masked Language Model
  • 단어 중 일부를 [MASK] 토큰으로 바꾸고, 이를 예측
  • 문맥 파악 능력을 학습
• Next Sentence Prediction
  • binary classification으로 [CLS] 토큰의 final hidden state에서 판별
  • 두 문장 사이의 관계를 이해

3. Fine-tuning

• 사용자의 태스크에 맞게 layer를 쌓아 fine-tuning

BERT4Rec

유저가 선택할 수 잇는 모든 가능한 아이템들의 확률을 예측

• 모델 구조

  1. Multi-head Self-Attention
  • h개의 subspace에 projection후 concatenate
  • Scaled Dot-Product Attention
  2. Position-wise Feed-Forward Network
  • multi-head self attention은 linear projection이므로 비선형성을 주기 위해 FC layer에 GeLU함수를 사용
  • GeLU : ReLU와 달리 음수에 대해서도 미분이 가능해 약간의 그래디언트를 더 전달할 수 있음
  3. Embeding Layer
  • 학습 가능한 layer를 사용하여 input embedding layer를 고정된 look-up table로 활용
  4. Output Layer

• 모델 학습

  • BERT처럼 [MASK]를 씌우고 이를 맞히게 하는 방식 ([MASK]가 여러개인 경우 순차적으로 진행)
  • Negative log likelihood를 통해 loss를 정의
  • 기존 BERT는 pre-training 용도이기도 하고, representation learning이 목적이기 때문에 end-to-end모델이 아니지만, BERT4Rec에서는 next item을 예측하는 end-to-end 모델이 필요하기 때문에 fine tuning 개념으로 마지막 아이템을 마스킹하여 이를 맞히는 태스크를 더 진행

결론

• 의의 : Bidirectional Self-Attention을 추천시스템에 적용하여 좋은 성능을 보임
• 한계
  • 아이템에 항상 순서가 정해져있는 것은 아님
  • 아이템과 유저가 정해져있지 않음
  • 기술적으로 아이템 시퀀스를 유저별로 저장하기 어려움
  • 도메인에 따라 아이템의 생명주기가 확실
  • 외부요인으로 인해 offline evaluation과 online result가 다른 경우도 많음
  • 학습속도가 느려 실용적이지 않음

[15기 이성범]
본 논문에서는 기존의 추천시스템에서 쓰이는 NLP 모델 중 Transformer 등의 단방향 모델은 시퀀스를 왼쪽에서 오른쪽의 순서로 읽어가며 빈칸을 예측하기 때문에 사용자의 행동에 대한 representation이 제한된다고 한다. 따라서 본 논문은 사용자의 행동에 대한 representation를 더 잘 캡쳐할 수 있도록 Deep한 양방향 Self-Attention 모델로서 BERT를 추천 시스템에 활용하는 것을 제안했다.

본 논문에서 제안한 BERT4Rec은 단어가 들어갈 위치에 아이템을 넣는다. 양방향의 아이템을 통해 맥락을 파악하고, Random 하게 마스킹 처리를 하여 주변 맥락으로 아이템을 예측한다. 이러한 방식을 통해서 Data leakage를 막고 Data augmentation의 효과도 얻을 수 있었다. 모델은 유저가 선택할 수 있는 모든 가능한 아이템들의 확률을 예측한다. 또한 Self-Attention을 통해서 거리가 먼 아이템의 의존성도 반영할 수 있다. 그리고 Mult-head Self-Attention을 활용하여 조금 더 다양한 아이템의 속성을 반영할 수 있게 된다.

그러나 본 논문에서 제시한 BERT4Rec의 경우 추천 시스템에 BERT를 적용하여 좋은 성능을 보였지만 많은 한계를 가진다. 아이템에 순서가 항상 정해져 있는 것은 아니며, 기술적으로 아이템의 시퀀스를 유저별로 저장하기는 어렵다. 또한 도메인에 따라 아이템의 Cycle이 존재한다. 따라서 BERT를 적용할 수 있는 Task가 매우 한정적이라는 단점을 가진다. 또한 BERT의 경우 다른 모델에 비하여 상대적으로 학습 속도가 느리기 때문에 실용적이지 않다.

BERT4Rec
양방향으로 글을 참조한다면 예측하기가 더 수월해지기에 Deep한 Self-Attention 모델로 BERT가 추천시스템으로서 제안되었다.

BERT
Input Representation에서는 3가지 임베딩이 쓰이게 된다.
1) WordPiece Embedding
문장을 토큰 단위로 분리하며 CLS와 SEP라는 스페셜 토큰이 쓰인다.
CLS는 문장의 맨 처음에 등장하여 모든 벡터를 참고한 뒤에 context vector로 쓰이고 SEP는 두 문장을 구분한다.
2) Segment Embedding
두 개의 다른 문장을 구분한다.
3) Positional Embedding
Transformer를 기반으로 하며 sin함수와 cos함수를 사용하여 토큰들의 상대적 위치 정보를 알려준다.

• Masked Language Model
  단어 중 일부를 MASK 토큰으로 바꾼 후 이를 예측한다.

• Next Sentence Prediction
  binary classification으로 두 문장 사이의 관계를 이해할 수 있다.

• Fine-tuning

Bert4Rec을 통해서 단어가 들어갈 위치에 아이템을 넣고 무작위하게 마스킹하여 주변 맥락을 통해 아이템의 ID를 예측한다.
RNN기반 방법과 달리 Self Attention을 활용하기 때문에 거리가 멀어져도 의존도를 반응할 수 있다.

[Transformer Layer]
Multi-head Self-Attention
1. h개의 subspace에 projection 후 concatenate
2. Scaled Dot-Product Attention

Position-wise Feed-Forward Network
FC Layer에서 GeLu 함수를 활성화 함수로 사용한다. Residual Connection, Layer Normalization, DropOut을 함께 사용한다.

Embedding Layer
Transformer은 위치 정보가 없어서 Positional Embedding Layer를 추가한다.

BERT4Rec에서는 next item을 예측하는 태스크의 end-to-end 모델이 필요했기 때문에, 모델 학습의 마지막 부분에 fine-tuning 개념으로 마지막 아이템을 마스킹하여 이를 맞히는 태스크를 더 진행한다.

학습 결과 양방향을 통하고 적당한 마스크 수를 조절하면 성능이 향상되었다.

15기 류채은
BERT4Rec
양방향으로 글을 참조한다면 예측하기가 더 수월해지기에 Deep한 Self-Attention 모델로 BERT가 추천시스템으로서 제안되었다.

BERT
Input Representation에서는 3가지 임베딩이 쓰이게 된다.
1) WordPiece Embedding
문장을 토큰 단위로 분리하며 CLS와 SEP라는 스페셜 토큰이 쓰인다.
CLS는 문장의 맨 처음에 등장하여 모든 벡터를 참고한 뒤에 context vector로 쓰이고 SEP는 두 문장을 구분한다.
2) Segment Embedding
두 개의 다른 문장을 구분한다.
3) Positional Embedding
Transformer를 기반으로 하며 sin함수와 cos함수를 사용하여 토큰들의 상대적 위치 정보를 알려준다.

• Masked Language Model
  단어 중 일부를 MASK 토큰으로 바꾼 후 이를 예측한다.

• Next Sentence Prediction
  binary classification으로 두 문장 사이의 관계를 이해할 수 있다.

• Fine-tuning

Bert4Rec을 통해서 단어가 들어갈 위치에 아이템을 넣고 무작위하게 마스킹하여 주변 맥락을 통해 아이템의 ID를 예측한다.
RNN기반 방법과 달리 Self Attention을 활용하기 때문에 거리가 멀어져도 의존도를 반응할 수 있다.

[Transformer Layer]
Multi-head Self-Attention
1. h개의 subspace에 projection 후 concatenate
2. Scaled Dot-Product Attention

Position-wise Feed-Forward Network
FC Layer에서 GeLu 함수를 활성화 함수로 사용한다. Residual Connection, Layer Normalization, DropOut을 함께 사용한다.

Embedding Layer
Transformer은 위치 정보가 없어서 Positional Embedding Layer를 추가한다.

BERT4Rec에서는 next item을 예측하는 태스크의 end-to-end 모델이 필요했기 때문에, 모델 학습의 마지막 부분에 fine-tuning 개념으로 마지막 아이템을 마스킹하여 이를 맞히는 태스크를 더 진행한다.

학습 결과 양방향을 통하고 적당한 마스크 수를 조절하면 성능이 향상되었다.

[15기 장아연]
기존의 추천시스템 NLP 모델은 단방향으로 sequence를 읽으며 예측을 진행하는데 추천 시스템의 경우 문장 속 문법처럼 정해진 순서가 존재하지 않고 공식화 되기 어려운 User의 행동 순서 때문에 그 representation이 제한됨. 따라서 representation을 높일 수 있도록 양방향 self-attention 모델인 BERT를 제안함.

BERT(Bidirectional Encoder Representation from Transformers)는 단방향이 아닌 양방향으로 왼쪽에서 오른쪽으로 문맥을 읽으며 숫자의 형태로 바꿔주는 딥러닝 모델임. Transformer 기반으로 문장 전체를 모델에 제시하고 [MASK]에 해당하는 단어를 예측함. Unlabeled data로 사전학습하고 특정 task를 가진 labeled data로 전이학습을 진행함. WordPiece Embedding, Segment Embedding, Positional Embedding이 Input Representation에서 Embedding으로 쓰임. Masked Language Model과 Next Sentence Prediction인 Pre-training과정을 거쳐 layer를 쌓아 fine-tuning을 진행함.

Bert4Rec는 단어가 들어갈 위치에 아이템을 넣고 Random하게 Masking을 진행하고 양방향의 아이템을 통해 맥락을 통해 아이템의 ID 예측함. 이를 통해 data leakage를 막고 data augmentation도 가능함. 전반적인 구조는 Multi-head Self-Attention, Position-wise Feed-Forward Network, Embeding Layer, Output Layer로 구성됨.

추천시스템에서 BERT4Rec는 BERT보다 우수한 성능을 보이지 않음. 아이템의 순서는 매번 변경되고 이에 따른 유저를 저장하는 데도 한계가 존재함. 게다가 학습 속도가 느려 실용적이라고 하기 어려움.