딥러닝이란?

Deep Neural Networks (DNN)을 학습시켜 문제를 해결하는 것

• 인공신경망(Artificial Neural Networks)의 적통을 이어받음
  - Neuron들로 구성된 신경망을 학습하여 문제를 해결하도록 동작하는 함수
  - 기존 신경망에 비하여 더 깊은 구조를 갖는 것이 특징
  • Non-linear 함수를 레이어 사이에 넣어주어 비선형 모델을 만들 수 있음

1. 과거 학습시킬 수 없었던 깊은 신경망을 잘 학습시킬 수 있게 됨
2. 인터넷의 발달로 빅데이터가 널리 활용되고, 이를 통해 깊은 신경망을 학습시킬 수 있게 됨
3. GPU를 활용한 병렬연산에 대한 방법이 대중화되며, 신경망의 학습/추론 속도가 비약적으로 증가

왜 딥러닝인가?

• 많은 문제들이 굉장히 높고 복잡한 차원의 데이터를 다루고 있지만(이미지, 텍스트, 음성), 기존의 선형 데이터 분석 기법으로는 한계가 명확함

• 비선형 모델로, 기존 머신러닝에 비해 패턴 인식 능력이 월등함
(univarsal approximation theorem)
• 이미지나 텍스트, 음성과 같은 분야들에서 비약적인 성능 개선을 만듦
• 기존 머신러닝과 달리 hand-crafted feature가 필요 없음
• 단순히 raw 값에 최소한의 전처리(ex : scaling)를 수행해 넣는 것만으로, 자동으로 특징(feature)을 학습함
• 구현이 용이하지만 사람이 해석하기 난해하다는 단점도 존재

딥러닝 패러다임의 변화

• 기존 패러다임
  • Hand-crafted feature를 추출 (가정을 도입)하여 머신러닝 모델에 넣고 학습
  • 기존 머신러닝은 주로 선형 또는 낮은 차원의 데이터를 다루기 위해 설계되었음 (Kernel 등을 사용하여 비선형 데이터를 다룰 수 있지만, 한계가 명확함)
  • 여러 단계의 sub-module로 이루어져 있었음 e.g.음성인식,기계번역 등

• 새로운 패러다임
  • Raw 값을 신경망에 넣으면, 자동으로 특징(feature)을 학습
  • 하나의 task에 대해서, 하나의 신경망 모델이 존재하는 end-to-end 방식
  • 열린 문화와 빠른 트렌드 변화 (오픈 소스 문화, 빠른 논문 공유)

좋은 인공지능 모델이란?

• 일반화를 잘하는 모델
• 보지못한 데이터에서 예측을 잘하는 모델

Working process

1. 문제 정의

• 단계를 나누고 simplify
• x와 y를 정의

2. 데이터 수집

• 문제 정의에 따른 수집
• 필요에 따라 레이블링

3. 데이터 전처리

• 형태를 가공
• 필요에 따라 EDA 수행

4. 알고리즘 적용

• 가설을 세우고 구현/적용

5. 평가

• 실험 설계
• 테스트셋 구성

6. 배포

• 상황에 따라 유지보수