04. 딥러닝
1. 딥러닝
1) 머신러닝 vs 딥러닝
-
머신러닝과 딥러닝은 내부 구조와 활용범위가 다를 뿐 기본적인 흐름은 동일
다만, 딥러닝은 자연어처리와 이미지 처리에서 뛰어난 발전 -
공통점
- 데이터로부터 가중치를 학습하여 패턴을 인식하고 결정을 내리는 알고리즘 개발과 관련된 인공지능의 하위 분야
-
차이점
- 머신러닝 : 데이터 안의 통계적 관계를 찾아내며 예측이나 분류를 하는 방법
- 딥러닝 : 머신러닝의 한 분야로 신경세포 구조를 모방한 인공 신경망을 사용
2) 딥러닝의 유래
- 인공 신경망 : 인간의 신경세포를 모방하여 만든 망(네트워크)
- 퍼셉트론(Perceptron) : 인공 신경망의 가장 작은 단위
3) 가중치 구하기 - Gradient Descent(경사하강법)
- 가중치를 움직이면서 최소의 MSE를 도출하는 함수를 목적함수 또는 손실함수라고 함
- 경사하강법은 모델의 손실 함수를 최소화하기 위해 모델의 가중치를 반복적으로 조정하는 최적화 알고리즘
4) 활성화 함수의 등장
- 로지스틱 함수(시그모이드 함수의 한 예) 외에도 다양한 활성화 함수가 존재
- Sigmoid, tanh, ReLU, Leaky ReLU, Maxout, ELU 등
5) 히든 레이어의 등장
-
데이터를 비선형적으로 변환함과 동시에 데이터의 고차원적 특성을 학습하기 위해 중간에 입력과 결과 이외의 추가하게 되는 숨은 층의 개념이 등장
-
히른 레이어가 많을수록 좋은 모델이 나올 줄알았으나 기울기 소실이라는 문제 발생
-
인공 신경망의 학습
- 순전파(Propagation) : 입력 데이터가 신경망의 각 층을 통과하면서 최종 출력까지 생성되는 과정
- 역전파(Backpropagation) : 신경망의 오류를 역방향으로 전파하여 각 측의 가중치를 조절하는 과정
-
기울기 소실 문제 등장
- 문제 : 역전파 과정에서 하위 레이러로 갈수록 오차의 기울기가 점점 작아져 가중치가 거의 업데이트 되지 않는 현상
- 해결 : 특정 활성화 함수( ReLU 등)를 통해 완화
-
6) 복습은 도움이 된다 - epoch
- epoch : 전체 데이터가 신경망을 통과하는 한 번의 사이클
- 1000 epoch : 데이터 전체를 1000번 학습
- batch : 전체 훈련 데이터 셋을 일정한 크기의 소 그룹으로 나눈 것
- iteration : 전체 훈련 데이터 셋을 여러 개(=batch)로 나누었을때 배치가 학습되는 횟수
2. 딥러닝의 활용 예시
1) 자연어처리
- 인간의 언어를 데이터화 하는 것
- Transformer모델을 통한 기계번역
- 자연어 처리 모델 - LLM(Large Language Medel)
2) 이미지
- 3차원 데이터를 모델에 학습 시킴
- 최근 이미지 모델은 텍스트, 이미지, 음성 등 다양한 유형의 데이터를 함께 사용하는 Mutimodal
3. 강의 마무리
1) 머신러닝의 기초
- 머신러닝의 기본, 개념
2) 회귀분석
- 가장 설명을 잘하는 직선을 그리는 법 - 선형회귀
- 실제 값과 예측 값의 오차를 계산하라 - Mean Squared Error
3) 분류분석
- 특정 범주에 대한 확률 예측하기 - 로지스틱회귀
- 맞춘 것에 대한 지표: 정확도, f1_score
4) 데이터 분석 프로세스
- 데이터 수집 → 전처리 → 모델링 → 평가
5) 회귀, 분류 모델링 심화
- 의사결정을 기반으로 한 모델 - 의사결정나무
- 나무를 여러 개 만들어서 다수결 원칙을 사용하자 - 랜덤포레스트
- 유유사종의 원리로 예측하자 - KNN
- 약한 학습기를 여러 개 합치자 - 부스팅 모델
6) 비지도학습
- 만약 Y(정답이 없다면) 특성을 이용해 그룹화 하자 - K-means 군집화
7) 인공 신경망
- 사람의 신경세포를 모방한 네트워크 - 인공 신경망
