BDA X Easy Publishing
이번 학기 Big Data Analysts (이하 BDA) 학회에 들어오고 난 이후 첫 번째 스터디 "Easy Study Project"에 참여하게 되었다. 교재는 이지스퍼블리싱 출판사의 <Do it! 딥러닝 교과서>으로 진행할 예정으로 앞으로 매주 공부한 내용을 기록해보고자 한다. 이번 포스팅은 스터디 1주차에 학습한 "Chap 02. 순방향 신경망"와 "Chap 03. 신경망 학습", 두 챕터 기반으로 작성하였다. (내 기준 핵심 내용 중심으로 작성하였다.)
2.2 분류와 회귀 문제
분류 문제 (classification)
- 데이터의 클래스 또는 카테고리를 예측하는 문제
- ex) 개/고양이/토끼 라는 세 종류의 클래스가 있을 때 개 이미지를 보면 "개" 클래스로 인식하고 고양이 이미지를 보면 "고양이" 클래스로 인식하는 문제
- 판별 함수로 정의하면? 모델은 입력 데이터가 속한 클래스 예측
- 확률 모델로 정의하면? 모델은 입력 데이터가 각 클래스에 속할 확률
-
이진 분류: 두 개의 클래스로 분류하는 문제
ex) 스팸 메일 여부, 질병 양성/음성, 긍정/부정 -
다중 분류: 여러 클래스로 분류하는 문제
ex) 강아지를 보고 품종 분류, 질병을 진단해서 병명을 판단, 표정을 보고 '행복, 슬픔' 등의 감정 상태를 인식하는 문제
회귀 문제 (regression)
- 여러 독립 변수와 종속 변수의 관계를 연속 함수 형태로 분석하는 문제
- ex) '방의 개수, 면접, 역과의 거리' 데이터를 이용해 집값을 예측하는 문제
- 예측값이 숫자형 데이터
- 확률 모델로 정의하면? 모델은 관측값의 확률분포를 예측
3.1 신경망 학습의 의미
- 신경망은 입력 데이터가 들어와도 어떤 출력을 만들어야 할지 알지 못하며 그 규칙을 학습 데이터를 이용해서 스스로 찾아내야만 한다.
- 학습 데이터 내에 규칙을 찾는 과정
3.3 경사 하강법
3.3.1 신경망의 학습 목표
손실 함수
- 전역 최소: 함수 전체에서 가장 낮은 곳
- 지역 최소: 함수에서 부분적으로 낮은 곳 (함수에 무수히 많음)
- 대부분 최적화 알고리즘의 목표는 지역 최소를 찾는 것
3.3.2 신경망 학습을 위한 최적화 알고리즘
1차 미분 방식
- 수렴 속도 느림
- 손실 함수 곡면이 볼록하지 않아도 최적해를 찾을 수 있음
- 매우 복잡한 신경망에서 안정적으로 사용하기 좋음
- 신경망은 주로 1차 미분 방식인 경사 하강법 사용
3.3.3 경사 하강법
손실 함수의 최소 지점을 찾기 위해 경사가 가장 가파른 곳을 찾아서 한 걸음씩 내려가는 방법
- 손실 함수의 기울기를 구하고 기울기의 반대 방향으로 내려감
3.4 역전파 알고리즘
경사 하강법을 모든 파라미터에 대해 개별적으로 진행한다면 같은 미분을 여러 번 반복하는 비효율성 문제가 생긴다. 이런 문제를 해결하고자 제안된 방법이 바로 오차의 역전파 알고리즘(backpropagation algorithm)이다.
3.4.2 역전파 알고리즘의 실행 순서
공통 부분의 계산을 중복하지 않으려면 손실 함수에서 시작해서 입력 계층 방향으로 계산된 미분값을 역방향으로 전파해 주면 된다. 이때 각 뉴런의 공통 부분에 해당하는 미분값을 오차라고 하며, 오차를 역방향으로 전파하면서 미분을 계산한다고 해서 역전파 알고리즘이라 부른다.
교재 두 챕터를 살펴본 뒤 쓰는 간단한 책 후기...
- 입문자 친화적인 접근: 이 책은 딥러닝을 처음 접하는 사람들을 대상(나..)으로 작성되었다. 따라서 복잡한 수학적인 개념을 최소화하고 직관적인 설명과 예제를 통해 딥러닝의 기본 원리와 구현 방법을 쉽게 이해할 수 있도록 설계되었다.
- 다양한 실전 예제: 책에는 다양한 실전 예제와 실습이 포함되어 있어, 이론을 바로 실제 상황에 적용해볼 수 있다. 이미지 처리, 텍스트 분류, 순환 신경망, 강화 학습 등 다양한 응용 분야에 대한 예제를 통해 실제로 문제를 해결하는 과정을 경험할 수 있다.
- 직관적인 구성과 설명: "<do it! 딥러닝 교과서>"는 개념을 순차적이고 직관적으로 전달하고 있다. 복잡한 개념을 그림과 차트를 통해 시각적으로 설명하여 딥러닝의 핵심 개념을 빠르게 파악할 수 있도록 도와준다.
