기초자연어처리- 12. NLP에 활용되는 합성곱 & 문자 임베딩

합성곱 신경망의 대두

• 용어정리
  - 채널
  - 이미지를 보통 높이,너비,채널의 3차원 텐서로 표기한다. 채널은 이미지의 색상일수도 있고, 이미지의 특성을 담은것일수도 있다
  - 합성곱
  - $[\boldsymbol{H}]_{i,j}=u+\displaystyle\sum_{a=-\Delta}^{\Delta}{\displaystyle\sum_{b=-\Delta}^{\Delta}{[\boldsymbol{V}]_{a,b}[\boldsymbol{X}]}_{i+a,j+b}}$
  - 커널
  - 합성곱을 통하여 이미지 사이즈를 축소하고, 이미지의 특징을 추출하는 층
  - 합성곱 연산을 통해 나온 결과값을 특성 맵 feature map이라 부른다
  - 패딩
  - 합성곱 연산의 결과물은 이전 이미지보다 사이즈가 작아지는 특성을 갖는다. 따라서 합성곱 전과 후의 이미지 크기를 보존하기 위하여 현재 이미지 주변부 픽셀을 0으로 체울 수 있는데 이를 패딩이라 한다
  - 풀링
  - feature map의 크기를 줄이기 위해 풀링층 영역중 가장 큰 값이나 평균값을 뽑아내는 연산

텍스트 데이터를 2D로 표현하고 합성곱 적용시키기

텍스트 데이터를 2D로 표현하기

• 주어진 텍스트를 그에 대응하는 임베딩 벡터로 전환시킨후, 임베딩 벡터가 row-vector가 되게끔 쭉 쌓은 행렬을 생각해보자.
• $j-th$ row는 $j$ 번째 텍스트의 임베딩 벡터가 될 것이고, $k-th$ column은 임베딩벡터들의 $k$ 번째 성분들이 될 것이다

합성곱 적용시키기

• 커널의 폭width가 임베딩 벡터가 되고, 높이height가 지정한 특정값 $k$ 되도록 정한다
• 높이가$k$ 이면 합성곱을 시행은 $k$ 개의 임베딩 벡터의 정보를 통합하여 하나로 만드는 기능을 하는 것이다