LG Aimers 6기 수강중.
서울대학교 컴퓨터공학부 김건희 교수님 강의를 들으며 정리한 글입니다.

Part 1. Introduction to Machine Learning

---

Machine Learning(ML)

• 범위 : Artificial Intelligence(AI) > Machine Learning(ML) > Deep Learning(DL)
  • DL : 기계학습 중 신경망, 신경망 중에 아주 layer가 많은 특별한 분야.
  • ML 정의
    • Herbert Simon : 경험을 통해서 그 성능을 높이는 시스템에 의한 모든 프로세스 = 학습(Learning)
    • Arthur Samuel : 직접적으로 프로그래밍하지 않고, 컴퓨터가 스스로 배울 수 있는 능력을 다루는 학문
    • Tom Mitchell : T에 대해서 E를 기반으로해서 P를 개선하는 것.
      • T : Task ex) classification, regression, detection ...
      • P : Performance Measure ex) error rate, accuracy, likelihood, margin ...
      • E : Experience ex) data

---

Generalization

• ML의 목표 : generalization(일반화) -> 모든 경우에 대응하고 싶다.
• generalization 정의 :
  • 수많은 예제 중 공통적 특징을 파악해서 보편적인 주장이나 개념으로 추상화하는 것.

---

No Free Lunch Theorem for ML

• 어떤 기계학습 알고리즘도, 다른 기계학습 알고리즘보다 항상 좋다고는 할 수 없다.
  • 옆팀에서 해당 모델이 잘 먹힌다고해서, 내 데이터세트에 잘 먹힌다는 보장 X
• 새로운 테스크, 새로운 데이터를 이용할 때 마다 최적의 알고리즘을 찾아야 한다.

---

Types of Learning

Supervised learning(감독학습, 지도학습)

• Input에 대한 Output(정답)을 쌍으로 명시적으로 가르쳐줌.
• 대표적인 Task : classification, regression

Unsupervised learning(비감독학습, 비지도 학습)

• 학습데이터가 x(input)만 있음.
• 대표적인 Task : Clustering, Anomaly Detection, Density Estimation

Semi-supervised learning

• 몇몇 학습데이터는 x,y줌. 몇몇은 x만. (몇몇개만 labeling하는거)
• 2개의 시나리오
  • LU learning : 몇몇 x,y, 몇몇 x
  • PU learning : One-class Classification(특정 class에 대해서만 label 준 경우)
• semi-supervised learning이 도움이 되는 경우
  • unlabeled data : label있는 데이터를 기반으로 soft한 label을 얻는다.
    --> 더 섬세한 decision boundary를 얻는다. (정확도 up!)

Reinforcement learning(강화학습)

• 모델에게 사전에 주어지는 것 : Dataset X, 환경 O
• 모델(agent)가 환경(state)과 interaction하면서 학습하는 과정.
• agent 학습 과정 :
  state주어짐 -> action 취함 -> environment가 얼마나 좋은 action이었는지 reward 줌
• but. 많은 경우에는 state 주어짐->action 취함 -> state약간 변함 -> action 취함 이럼(reward가 매우 딜레이가 됨).
  • 그래서 매우 어려운 학습 방법 (시간, 난이도 훨씬 높다.)

---

References

교수님이 추천하는 machine learning 책
1. 처음 공부하는 사람

• An Introduction to Statistical Learning
  • (Python 버전도 있음)
• 가볍게 시작하는 통계학습 - R로 실습하는

2. 좀 아는 사람 (사진이 너무 조만해서 잘 안보여요..ㅠㅠ)

• The Elements of Statistical Learning
• Machine Learning
• Information Theory, Inference, and Learning Algorithms.
• Convex Optimization

---