Historical Review

강의 주소

딥러닝의 기본 요소

• 모델에 학습될 수 있는 데이터
• 모델이 데이터를 변환하는 방법
• 모델의 나쁜점의 loss function
• 손실을 최소화하기 위한 매개변수를 조정하는 알고리즘

이미지 처리 방법

• Classification : 객체 분류
• Semantic Segmentation : 각 픽셀별로 클래스 분류
• Detection : 객체의 바운딩박스를 이용하여 객체 분류
• Pose Estimation : 이미지에 있는 사람을 3D 스켈레톤으로 나타냄
• Visual QnA : 이미지가 주어지면 이미지의 질문에 대한 답을 구함

Loss

• Regression Task : MSE(예측값과 실제값의 차이를 제곱하여 평균한 값으로, 회귀 문제에서 많이 사용)
• Classfication Task : CE(두 확률 분포 간의 차이를 측정하며, 분류 문제에서 모델의 예측 분포와 실제 분포 간의 차이를 줄이는 데 사용)
• Probabilistic Task : MLE(주어진 데이터에 대해 모델 파라미터를 최적화하여 데이터가 가장 잘 설명되도록 하는 방법으로, 통계적 모델링에서 많이 사용)

Historical
2012
AlexNet : 첫 딥러닝 이용 수상

2013
DQN : 알파고의 알고리즘

2014
Encoder / Decoder : 입력에 다른 언어의 연속을 출력하는 것,
Adam - 각 파라미터의 학습률을 자동으로 조정하여 학습을 최적화할 수 있다.

2015
GAN : 실제에 가까운 이미지나 사람이 쓴 것과 같은 글 등 여러 가짜 데이터들을 생성하는 모델
ResNet : layer을 깊게 쌓으면 성능이 떨어지는데 layer의 문제를 해결하기 위한 모델

2017
Transformer : 구글에서 발표한 논문 Attention Is All You Need

2018
BERT(실습했던 BERT코드) : 내일의 날씨, 좋은 뉴스를 작성하고 싶을 때 데이터가 없어 많은 데이터를 사용하여 pre-training후 fine-tuning하는 것

2019
Big Language Models(GPT-X) : 약간의 fine-tuning으로 다양한 문장, 프로그램을 만들 수 있다. 괴장히 많은 파라미터를 가지고 있다.(175억개의 파라미터)

2020
Self Supervsied Learning : 한정된 학습 데이터 외에 라벨을 모르는 데이터를 활용하는 것