5-1 딥러닝 기초

딥러닝 기본 용어 설명

• 인공지능: 사람의 지능을 모방하는 것
• 머신러닝: 사람의 지능을 모방하는 방법중 데이터로 학습하는 방법
• 딥러닝: 뉴럴네트워크를 사용하는 방법

딥러닝의 4가지 주요 요소

• 데이터
• 모델
• 손실 함수
• 알고리즘(손실 함수를 최소화하기 위한 알고리즘)
  • 연구, 논문을 볼때 4가지 접근으로 확인

Data

데이터는 풀고자하는 문제의 타입에 의존한다

Model

같은 문제, 데이터라도 모델에 따라 결과가 달라짐

Loss

• 모델을 어떻게 학습할지!
• Loss 값이 줄어든다고 해서 항상 우리가 원하는 결과가 나오는 것이 아님
• 일반적으로
  회귀문제 => MSE
  분류문제 => CE
  확률문제 => MLE
  • 항상 이렇게 사용하는 것이 아님, Loss가 줄어드는게 우리에게 어떤 의미인지 확인

Algorithm

• 네트워크를 어떻게 줄일지
  
  -> 학습하지 않은 데이터에도 잘 동작할 수 있도록!

Historical Review

2012- AlexNet

• 224 x 224 이미지 분류 모델

2013-DQN

• Q Learning이라는 강화학습방법론을 이용해 딥러닝을 접목함

2014 -Encoder/ Decoder, Adam Optimizer

• 영어문장(단어의 연속)을 주어졌을 때, 다른 언어의 단어의 연속으로 바꿔주는 것

• Adam이 가장 좋은 결과를 내놓기 때문에 주로 사용함

2015 - GAN(Generative Adversarial Network), ResNet

• 이미지(또는 텍스트)를 만들다고 했을때 어떻게 만들어낼 수 있을지
• 네트워크가 generator, discriminator 두개로 만들어 학습
  
• 네트워크를 깊게 쌓을 수 있도록(딥러닝을 딥러닝 할 수 있도록) 해줌
  • 그 이전에는 네트워크를 깊게 쌓으면 학습이 잘 안되는(오퍼피팅) 인식이 있었는데 그 걸 벗어나게 해줌(전에는 20개 이하로 쌓았다면 100개 네트워크 쌓을 수 있도록)

2017 Transformer

Attention Is All You Need

2018 Bert(fine-tuned NLP models)

• fine-tuned: 굉장히 다양한 단어들, 위키피디아 말뭉치를 사전학습 후 fine-tuned한 모델

2019 Big Language Models

openAI

• GPT-3

2020 self Supervised Learning

분류문제를 풀때, 학습데이터 외의 라벨을 모르는 unsupervised 데이터를 사용한다는 것

• ex) 구글에 다양한 이미지 데이터를 학습에 이용하는 것