주목 메커니즘

Attention 메커니즘의 장점
전통적인 시퀀스-투-시퀀스(Seq2Seq) 모델에 비해 어텐션 메커니즘을 사용하면 모델이 입력 시퀀스의 특정 부분에 집중할 수 있다.
전통적인 순환 신경망(RNN) 인코더-디코더에 비해 어텐션 메커니즘을 사용하면 디코더가 입력 시퀀스의 특정 부분에 집중할 수 있어 번역의 정확성이 개선될 수 있다.

어텐션 메커니즘의 주요 단계

• 어텐션 가중치 계산
• 컨텍스트 벡터 생성

어텐션 메커니즘
신경망이 입력 시퀀스의 특정 부분에 집중할 수 있도록 하는 머신러닝 기술

인코더-디코더
텍스트를 한 언어에서 다른 언어로 번역할 때 사용할 수 있는 머신러닝 아키텍처

어텐션 모델의 차이
전통적인 모델과 달리, 어텐션 모델은 훨씬 더 많은 정보를 디코더에 전달한다

어텐션 가중치의 용도
중요한 부분에 가장 높은 가중치가 적용되도록 입력 시퀀스의 각기 다른 부분마다 가중치를 할당