딥러닝

심층 신경망

더 깊은 신경망으로

여기서 사용되는 합성곱 계층은 모두 3x3 크기의 작은 필터로, 층이 깊어지면서 채널 수가 더 늘어나는 것이 특징이다.(합성곱 계층의 채널 수는 앞 계층에서부터 순서대로 16, 16, 32, 32, 64, 64로 늘어간다) 또 그림과 같이 풀링 계층을 추가해 중간 데이터와 공간 크기를 점차 줄여간다. 그리고 마지막 단의 완전연결 계층에서는 드롭아웃 계층을 사용한다. 이를 정리하면 이 신경망의 특징은 다음과 같다.
3x3의 작은 필터를 사용한 합성곱 계층
활성화 함수는 ReLU
완전연결 계층 뒤에 드롭아웃 계층 사용
Adam을 사용해 최적화
가중치 초기값은 'He의 초깃값'

정확도를 높이기 위해서

데이터 확장은 입력이미지(훈련 이미지)를 알고리즘을 동원해 인위적으로 확장한다.

입력 이미지를 회전하거나 세로로 이동하는 등 미세한 변화를 주어 이미지의 개수를 늘릴 수 있는데 이는 데이터가 몇 개 없을 때 특히 효과적이다. 이 외에도 다양한 방법으로 이미지를 확장할 수 있다. 예를 들어 이미지 일부를 잘라내는 crop이나 좌우를 뒤집는 flip 등이 있다. 데이터 확장을 동원해 훈련 이미지의 개수를 늘릴 수 있다면 딥러닝의 인식 수준을 개선할 수 있다.

깊게 하는 이유

층을 깊게할 때의 이점중 하나는 신경망의 매개변수 수가 줄어든다. 층을 깊게 한 신경망은 깊지 않은경우보다 적은 매개변수로 같은 수준 혹은 그 이상의 표현력을 달성할 수 있다.

작은 필터를 겹쳐 신경망을 깊게 할 때의 장점은 매개변수 수를 줄여 넓은 수용 영역을 소화할 수 있다는 데 있다. 게다가 층을 거듭하면서 ReLU 등의 활성화 함수를 합성곱 계층 사이에 끼움으로써 신경망의 표현력이 개선된다. 이는 활성화 함수가 신경망에 비선형 힘을 가하고, 비선형 함수가 겹치면서 더 복잡한 것도 표현할 수 있게 되기 때문이다.
학습의 효율성도 층을 깊게 하는 이점이다. 신경망을 깊게 하면 학습해야 할 문제를 계층적으로 분해할 수 있다. 각 층이 학습해야할 문제를 더 단순한 문네로 대체할 수 있다. 예를 들어 처음 층은 에지 학습에 전념하여 적은 학습 데이터로 효율적으로 학습할 수 있다. 또 층을 깊게 하면 정보를 계층적으로 전달할 수 있다는 점도 중요하다. 에지를 추출한 층의 다음 층은 에지 정보를 쓸 수 있고, 더 고도의 패턴을 효과적으로 학습하리라 기대할 수 있다.

딥러닝 고속화

딥러닝 프레임워크 대부분은 GPU를 활용해 대량의 연산을 고속으로 처리할 수 있다.

개선해야할 사항

딥러닝에서 어떠한 처리에 시간이 소요되는지 나타낸 그래프는 다음과 같다.

AlexNet에서는 오랜 시간을 합성곱 계층에서 소요한다. 그래서 합성곱 계층에서 이뤄지는 연산을 어떻게 고속으로 효율적으로 하느냐가 딥러닝의 과제라고 할 수 있다.

분산 학습

딥러닝 계산을 더욱 고속화하고자 다수의 GPU와 기기로 계산을 분산하기도 한다.

여러 기기를 연결하여 GPU를 100개까지 사용하니 하나일 때보다 56배 빨라졌다.

연산 정밀도와 비트 줄이기

계산 능력 외에도 메모리 용량과 버스 대역폭 등이 딥러닝 고속화에 병목이 될 수 있다. 메모리 용량 면에서는 대량의 가중치 매개변수와 중간 데이터를 메모리에 저장해야 한다는 것을 생각해야 한다. 버스 대역폭 면에서는 GPU의 버스를 흐르는 데이터가 많아져 한계를 넘어서면 병목이 된다. 이런 경우들을 고려하면 네트워크로 주고받는 데이터의 비트수는 최소로 만드는 것이 바람직하다.

딥러닝의 활용

사물 검출

R-CNN 방식으로 사물 검출을 수행하는 방식이 유명하다. R-CNN의 처리 흐름은 다음과 같다.

먼저 사물이 위치한 영역을 찾아내고, 추출한 각 영역에 CNN을 적용하여 클래스를 분류하는 것이다. 여기서 이미지를 사각형으로 변형하거나 분류할 때 SVM을 사용하는 등 실제 처리 흐름은 다소 복잡하지만 큰 틀에서는 이 두가지 처리(후보 영역 추출과 CNN 특징 계산)로 구성된다. 후보 영역 추출(사물처럼 보이는 물체를 미리 찾아 처리)에서는 컴퓨터 비전 분야에서 발전해온 다양한 기법을 사용할 수 있다.

분할

분할이란 이미지를 픽셀 수준에서 분류하는 문제이다.

픽셀 단위로 객체마다 채색된 지도 데이터를 사용해 학습하고 추론할 때 입력 이미지의 모든 픽셀을 분류한다. 신경망을 이용해 분할하는 가장 단순한 방법은 모든 픽셀 각각을 추론하는 것이다. 모든 픽셀을 대상으로 하나씩 추론 작업을 실행한다. 그러나 이런 식으로는 픽셀 수만큼 forward 처리를 해야 하고 긴 시간이 걸리게 된다. 이런 낭비를 줄여주는 기법으로 단 한번의 forward 처리로 모든 픽셀의 클래스를 분류해주는 FCN 기법이 고안되었다.

FCN은 합성곱 계층만으로 구성된 네트워크를 의미한다. 일반적인 CNN이 완전연결 계층을 이용하는 반면, FCN은 이 완전연결 계층을 같은 기능을 하는 합성곱 계층으로 바꾼다. 사물 인식에서 사용한 신경망의 완전연결 계층에서는 중간 데이터의 공간 볼륨을 1차원으로 변환하여 한 줄로 늘어선 노드들이 처리했으나, FCN에서는 공간 볼륨을 유지한 채 마지막 출력까지 처리할 수 있다. FCN은 마지막에 공간 크기를 확대하는 처리를 도입했다는 것도 특징이다. 이 확대 처리로 인해 줄어든 중간 데이터를 입력 이미지와 같은 크기까지 단번에 확대할 수 있따. FCN의 마지막에 수행하는 확대는 이중 선형 보간에 의한 선형확대이다. FCN에서는 이 선형 확대를 역합성곱 연산으로 구현해내고 있다.

딥러닝의 미래

Deep Q-Network(강화학습)

컴퓨터도 사람과 같이 시행착오 과정에서 스스로 학습하게 하려는 분야가 있는데 이를 강화학습이라 한다. 강화학습에서는 에이전트라는 것이 환경에 맞게 행동을 선택하고 그 행동에 의해서 환경이 변한다는 게 기본적인 틀이다. 강화학습의 목적은 더 나은 보상을 받는 쪽으로 에이전트의 행동 지침을 바로잡는 것이다.

강화학습에서 주의할 점은 보상이 정해진 것이 아니라 예상 보상이라는 점이다. 딥러닝을 사용한 강화학습 중 Deep Q-Network라는 방법이 있다. 이는 Q핛브이라는 강화학습 알고리즘을 기초로 한다. Q학습에서는 최적 행동 가치 함수로 최적인 행동을 정한다. 이 함수를 딥러닝(CNN)으로 비슷하게 흉내 내어 사용하는 것이 DQN이다.

출처 : 밑바닥부터 시작하는 딥러닝: 파이썬으로 익히는 딥러닝 이론과 구현 - 사이토 고키(2017)