완전 연결 계층

한 레이어의 모든 뉴런이 인접한 레이어의 모든 뉴런과 연결된 상태를 말한다.

완전 연결 계층의 한계

이미지 데이터의 형상이 무시된다.

입력 데이터가 이미지인 경우, 이미지는 채널, 가로, 세로로 구성된 3차원 데이터다. 그러나 완전 연결 계층에 입력할 때는 3차원 데이터를 1차원 데이터로 평탄화해야 한다.

-> 32x32픽셀 크기인 흑백 이미지(1, 32, 32)를 완전 연결 계층에 입력하기 위해서는 데이터 형태를 (1024)의 데이터로 변경해야 한다.

완전 연결 계층은 형상을 무시하고 모든 입력 데이터를 동등한 뉴런으로 취급하여 형상에 담긴 정보를 살릴 수 없다.

반면, 합성곱 계층은 3차원 이미지 데이터를 그대로 3차원 형태로 전달할 수 있어 특성을 반영하는데 이점을 가지고 있다.

CNN

2D CNN

2차원 이미지 처리에서의 합성곱 연산을 말한다.

1D CNN

입력이 벡터로 변환된 문장 행렬이다. 커널의 너비는 문장 행렬에서의 임베딩 벡터의 차원과 동일하다. 그래서 커널의 높이만 커널의 크기로 간주된다.

커널의 너비가 임베팅 벡터의 차원과 같다는 것은 너비 방향으로 움직일 공간이 없다는 것을 뜻한다. 그래서 1D 합성곱 연산에서의 커널은 문장 행렬의 높이 방향으로만 움직인다.