Attention

## Attention Mechanism

• 자연어 생성영역(NLG) → 생성에서의 어텐션
• 자연어 이해영역(NLU) → 이해에서의 어텐션 감성분석

Sequen to Sequence

• End - to - End 모델의 시대

• 고정된 크기의 벡터에 정보가 다 압축되지 않아 정보 손실이 발생(병목현상)

• attention =

  • 퀴리에 대해서 모든 키와의 유사도를 구함
  • 유사도를 키와 맵핑되어 있는 각각 값에 반영함
  • 값을 모두 더해서 리턴 함
  • 쿼리와 키 , 값에서 키와 값은 일반적으로 동일한 경우가 많음
    

• Dot Product Attention

  • 유사도를 내적으로 계산

  • 쿼리 = t시점의 디코더 셀에서의 은닉 상태

  • 키 = 모든 시점의 인코더 셀의 은닉 상태

  • 값 = 모든 시점의 인코더 셀의 은닉 상태

    

• 바다나우 어텐션

• 루옹 어텐션

Transformer

• 기계 번역을 위해 탄생
• 인코더와 디코더 구조 유지
• Embedding layer 사용 → postional Encoding이라는 과정을 거친 후에 입력
• Q = K = V 인 경우에는 Self - Attention
  • Residual Connection = Add 부분 = 어떤 연산을 한 결과를 연산의 입력과 다시 더해주는 것을 말함

TPU와 GPU 차이 : 전력차이와 제조자 차이

자연어 처리 기술

시맨틱 검색

• 기존의 키워드 매칭이 아닌 문장의 의미에 초점을 맞춘 정보 검색 시스템

• SBERT : SBERT는 기본적으로 BERT의 문장 임베딩의 성능을 우수하게 개선시킨 모델

• Faiss : 페이스북 AI 연구팀(Facebook AI Research, FAIR)에서 개발한 라이브러리로, 대량의 고차원 벡터에서 유사성 검색 및 클러스터링을 빠르고 효율적으로 수행할 수 있음

적용기술

• 의미 기반 검색 서비스 - 네이버 영화 검색
• 개인화 맞춤형 서비스 - 아마존 닷컴 추천 서비스

토픽모델링(Topic Modeling)

• 기계 학습 및 자연어 처리 분야에서 토픽이라는 문서 집합의 추상적인 주제를 발견하기 위한 통계적 모델
• 텍스트 본문의 숨겨진 의미 구조를 발견하기 위해 사용되는 텍스트 마이닝 기법
• 문서의 집합에서 토픽을 찾아내는 프로세스
• LDA : 문서들은 토픽들의 혼합으로 구성되어져 있으며, 토픽들은 확률 분포에 기반하여, 단어들을 생성한다고하면, 데이터가 주어지면 LDA는 문서가 생성되던 과정을 역추적함
• 문서의 집합에서 토픽을 찾아내는 프로세스
  • Full SVD
    • 전치행렬
    • 단위행렬
    • 역행렬
    • 직교행렬
    • 대각행렬
  • 절단된 SVD

LSA와LDA의 차이

LSA: DTM을 차원 축소하여, 축소 차원에서 근접 단어들을 토픽으로 묶음

LDA : 단어가 특정 토픽에 존재할 확률과 문서에 특정 토픽이 존재할 확률을 결합확률로 추정하여 토픽을 추출

자료참고 :

https://post.naver.com/viewer/postView.naver?volumeNo=34273567&memberNo=33037825
https://dajeblog.co.kr/16-faiss%EC%97%90-%EB%8C%80%ED%95%9C-%EB%AA%A8%EB%93%A0-%EA%B2%83/#google_vignette