[Aiffel] 60일차 개념 정리 및 회고

밑바닥부터 시작하는 딥러닝2의 내용을 정리한 포스트입니다.

1. 개념 정리

1) 통계기반 기법

분포 가설에 기반하여, 동시발생행렬의 방식으로 단어를 표현함. 이렇게 표현된 각 단어의 벡터간 유사도를 측정하는 방식

1. 분포 가설에 기반: 단어는 그 자체로 뜻이 있는 것이 아니라 쓰이는 맥락에 따라 의미가 결정된다.
2. 동시발생 행렬: 분포 가설을 기반으로 단어를 벡터로 표시하는 방법
3. 벡터 간 유사도 측정
   • 동시발생 행렬을 이용해 각 단어를 벡터화
   • 벡터화된 각 단어의 유사도를 판단
     • 유사도 판단 방법
       • 내적 계산
       • 유클리드 거리
       • 코사인 유사도 ✔: 증가하는 값은 무시한 채 두 점이 이루는 각도 상의 차이를 보고자 하는 방식.
4. 한계
   • 의미없는 단어(ex 관사)의 출연 빈도가 높을 경우 연관성이 깊다는 결과로 이어질 수 있음
     • 방법: PPMI 행렬
       • 한계: 말뭉치가 커질수록 각 단어 벡터의 차원도 증가
     • 차원축소: SVD(특잇값 분해)

2. 회고

원래 오늘 안에 Seq2Seq까지 정리하려고 했는데 중간에 들어가는 수학 개념도 같이 이해하려고 하다보니 적은 분량에도 시간이 오래 걸렸다. 주말에 시간을 생각보다 많이 들여야할 거 같다.