그동안 혼자 책보고 공부하면서 노션에 적었던 글을 옮겨 적으면서 복습하려고 적는 글입니다.

이미지를 위한 인공 신경망

합성곱

합성곱은 마치 입력 데이터에 마법의 도장을 찍어서 유용한 특성만을 드러나게 하는 것으로 비유할 수 있음

합성곱 신경망(CNN)에서는 완전 연결 신경망과 달리 뉴런을 필터, 커널이라고도 부름

(뉴런 = 필터 = 커널)

패딩: 입력 배열의 주위를 가상의 원소로 채우는 것
→ 입력과 출력층의 크기를 동일하게 만들기 위해

→ 패딩은 이미지 주변에 있는 정보를 잃어버리지 않도록 도와줌

위 처럼 0으로 채우는 것을 세임패딩

0으로 채우지 않고 그대로 사용하는 것을 밸리드패딩 → padding = ‘valud’

위 예시들은 기본적으로 한 칸씩 이동했지만 스트라이드의 크기를 지정하면 한 칸이 아니고 바꿀 수 있음.

풀링

• 합성곱 층에서 만든 특성 맵의 가로세로 크기를 줄이는 역할을 수행, 특성 맵의 개수는 줄이지 않음
• ex) (2, 2, 3) → 풀링 → (1, 1, 3) 너비와 높이만 줄어듬
  
• 풀링에서는 겹치는 부분이 없이 이동
  • 최대풀링
  • 평균풀링
• 풀링은 가중치가 없고 풀링 크기와 스트라이드가 같음, 패딩도 없음
• 풀링을 하용하는 이유는 합성곱에서 스트라이드를 크게하여 특성 맵을 줄이는 것보다 풀링 층에서 크기를 줄이는 것이 경험적으로 더 나은 성능을 내기 때문

Chapter 9

순차데이터

• 순차 데이터는 텍스트나 시계열 데이터와 같이 순서에 의미가 있는 데이터를 말함.
  입력 데이터의 흐름이 앞으로만 전달되는 신경망을 피드포워드 신경망이라고 함

• 신경망이 이전에 처리했던 샘플을 다음 샘플을 처리하는데 재사용하기 위해서는 이렇게 데이터 흐름이 앞으로만 전달되어서는 곤란함 → 순환될 필요가 있음 → 순환 신경망

순환신경망

• 일반적인 완전 연결 신경망과 거의 비슷
• 순환신경망에서는 ‘이전 샘플에 대한 기억을 가지고 있다’고 말함
• 이렇게 샘플을 처리하는 한 단계를 타임스텝 이라고함
• 순환 신경망에서는 특별히 층을 셀이라고 부름 (한 셀에는 여러 개의 뉴련이 있지만 완전 연결 신경망과 달리 뉴런을 모두 표시하지 않고 하나의 셀로 층을 표현)
• 셀의 출력을 은닉 상태라고 부름
• 일반적으로 은닉층의 활성화 함수로는 하이퍼볼릭 탄젠트(tanh)가 많이 사용 (시그모이드 함수와는 달리 -1 ~ 1사이의 범위를 가짐)
  

LSTM과 GRU셀

LSTM

• 단기 기억을 오래 기억하기 위해 고안됨.