[TIL]Day 83

Transformer

• 추론단계 이해 self attention

  • "The animal didn't cross the street because it was too tired"
  • 여기서 it이 가리키는 단어는?
  • 단어의 의미는 문맥에 의해 결정된다. 같은 단어라도 문맥에 의해 뜻이 달라진다.
  • 현재 단어의 의미(임베딩을 통해 표현되는)를 주변 단어의 조합(weighted sum)으로 표현

• 추론단계 이해 - Multi-headed attention

  • 다양한 attention matrix들을 반영하기 위한 방법.

https://github.com/google-research/bert/blob/master/modeling.py
위에서 attention_layer 함수 참고

대수의 의미
대수학은 수 대신에 문자를 사용하여 방정식의 풀이 방법이나 대수적 구조를 연구하는 학문이다. 代數 -> 수를 대신한다

BERT
이 모델이 풀려고 하는 문제는 무엇인가?

• transformer learning을 통해 적은 양의 데이터로도 양질의 모델(분류기 등)을 학습하는 것

>>> arr = ['토끼','말','늑대','오리','고양이','여우','곰']
>>> for i,v in enumerate(arr,start=1):
	print('number:{}, value:{}'.format(i,v))