더 깊게

더 깊은 신경망

• 손글씨 숫자를 인식하는 심층 CNN
  • 3x3의 작은 필터를 사용한 합성곱 계층
  • 활성화 함수는 ReLU
  • 완전연결 게층 뒤에 드롭아웃 계층 사용
  • Adam을 사용해 최적화
  • 가중치 초깃값은 'He의 초깃값'
    

정확도 향상

• 데이터 확장: 입력 이미지(훈련 이미지)를 알고리즘을 동원해 인위적으로 확장한다.

층을 깊게 하는 이유

• 층의 깊이에 비례해 정확도가 좋아진다.
• 신경망의 매개변수 수가 줄어든다.
• 학습의 효율성, 학습 데이터의 양을 줄여 학습을 고속으로 수행할 수 있다.

딥러닝의 초기 역사

이미지넷

• 이미지넷: 100만 장이 넘는 이미지를 담고 있는 데이터셋

VGG

• 합성곱 계층과 풀링 계층으로 구성된다.
  

GoogLeNet

- GoogLeNet의 인셉션 구조 ## ResNet - 스킵 연결: 입력 데이터를 합성곱 계층을 건너뛰어 출력에 바로 더하는 구조 - ResNet의 구성요소

딥러닝 고속화

GPU 활용

• GPU는 병렬 수치 연산을 고속으로 처리할 수 있다. GPU로 범용 수치 연산을 수행하는 것을 GPU 컴퓨팅이라고 한다.
• CUDA: 엔비디아의 GPU 컴퓨팅용 통합 개발 환경, cuDNN: CUDA 위에서 동작하는 라이브러리

분산 학습

• 분산 학습: 딥러닝 학습을 수평 확장

연산 정밀도와 비트 줄이기

• 딥러닝은 높은 수치 정밀도를 요구하지 않는다.

딥러닝의 활용

사물 검출

• 이미지 속에 담긴 사물의 위치와 종류를 알아내는 기술
• R-CNN
  

분할

• 이미지를 픽셀 수준에서 분류하는 문제
• FCN(Fully Convolutional Network): 단 한 번의 forward 처리로 모든 픽셀의 클래스를 분류해주는 기법
  • 완전연결 계층을 같은 기능을 하는 합성곱 계층으로 바꾼다.
    

사진 캡션 생성

• NIC 모델: 심층 CNN과 자연어를 다루는 순환 신경망으로 구성된다.
• RNN: 순환적 관계를 갖는 신경망, 자연어나 시계열 데이터 등의 연속된 데이터를 다를 때 많이 활용

딥러닝의 미래

• 이미지 스타일(화풍) 변환
• 이미지 생성: DCGAN 기법 활용
• 자율 주행: SegNet(CNN 기반 신경망)
• Deep Q-Network(강화학습)
  • 에이전트는 더 좋은 보상을 받기 위해 스스로 학습한다.
  • Q학습: 최적 행동 가치 함수로 최적인 행동을 정한다.