2022-09-19

📌 머신러닝 및 딥러닝 개요

✅ 머신러닝 프로세스

문제 정의 및 데이터 준비하기 -> 학습하기 -> 추론 및 평가 -> 문제 정의 및 데이터 준비하기 -> ...(문제정의를 잘못했을 경우 계속 다시 처음으로 돌아가서 문제점을 파악해야한다)

✏️ 문제 정의 및 데이터 준비하기

• 명확한 문제 정의가 가장 중요
• 데이터를 자세히!!! 들여다볼 수 있어야 함.
  -> 캐글 활용

✏️ 학습하기

• SOTA 모델 활용 -> 내 데이터셋에 맞는 것 찾기
• 하이퍼파라미터 튜닝
• 모델 선택 -> 내부요소 + 외부요소의 복합적 고려해야함

✏️ 추론 및 평가

• 추론? 학습된 모델로부터 정답이 없는 데이터에 대해 정답을 만드는 행위

✏️ 용어

• 데이터 준비하기
  - 클래스 불균형 : 클래스 분포 형태의 불균형, 이상탐지
  - 과소표집과 과대표집 : 과소표집은 다른 클래스에 비해 상대적으로 많이 나타나 있는 클래스의 개수를 줄이는 것, 과대표집은 개수가 적은 클래스를 복제하는 것(SMOTE 등 기법들을 활용)
  - 회귀 : 연속적인 값 예측
  (ex. 햄버거 가격, 영화 관객 수 등)
  0과 1을 예측하는 로지스틱 회귀
  - 분류 : 미리 정의된 여러 클래스 중 하나를 예측.
  (ex. 햄버거 종류, 숫자 판별, 얼굴인식 또는 종류 구분 등.)
  이진분류, 다중분류, 다중 레이블 분류 등이 있다.
  - 원핫 인코딩 : 하나의 클래스만 1이고 나머지 클래스는 전부 0으로 인코딩(더미변수같은건가 ...........)
  - 교차 검증 : 모델의 타당성을 검증(과대적합 방지를 위해 사용)
  학습데이터 - 모델 학습에 사용
  검증 데이터 - 모델의 검증을 위해 사용, 주로 학습 도중에 사용
  데이트 데이터 - 모델의 최종 성능 평가에 사용
  = > 테스트 데이터는 최종 평가 이전에는 절대로 사용하면 안됨.
• 학습하기
  - 하이퍼파라미터 : 경험에 의해 결정되는 요소. 적합한 값을 찾기 위해 반복적인 실험과 많은 시간 투자가 필수이다.
  - 비지도 학습 : 학습 데이터에 정답이 포함되어 있지 않은 것. 모델에게 햄버거를 종류별로 여거 개 주고 같은 종류끼리 묶어보라고 하는 것(클러스터링)
  - 생성 모델 : 햄버거 사진을 주고, 모델에게 다시 햄버거 사진을 그려보라고 하는 것.
  - 강화 학습 : 에이전트가 주어진 환경에 대해 어떠한 행동을 결정하고, 이를 통해 얻는 보상으로 학습하는 것.
  - 과대 적합 : 모델이 문제를 일반화하지 못하고 단순히 외워 새로운 데이터에 대해서는 좋은 성능을 보이지 못하는 경우.
  = > 해결 방안 : 학습 데이터를 더 다양하게 많이 수집, 정규화를 사용(규칙을 단순하게), 이상치 제거(but, 데이터가 많다면 제거하는 방법은 옳지 않음)
  - 과소 적합 : 모델이 학습 데이터를 충분히 학습하지 않아 모든 측면에서 좋지 않은 성능을 보여주는 경우. 이와 같은 경우에는 모델이 아직 성능을 개선할 수 있는 여지가 있음.
  = > 해결 방안 : 학습 데이터를 더 다양하게 많이 수집, 더 복잡한 모델을 사용, 모델을 충분히 학습시키기
  ❗❗ 두가지 문제를 동시에 해결할 수 있는 방안 -> 양질의 데이터 수집!(사실 실무적으로는 불가능...)
• 평가하기
  - 혼동행렬 : 모델의 성능 평가에 사용.
  - 정확도 : 전체 데이터 중에서 실제 데이터의 정답과 모델이 예측한 정답이 같은 비율
  - 정밀도와 재현율(Precision&Recall) :
  정밀도 - 예측 True 중 실제 True 비율(예측잘하는거)
  재현율 - 실제 True 중 예측 True 비율(실제가정말실제인가)
  - F1-Score : 정밀도와 재현율 둘 다 중요한 경우 사용(조화평균구함)
  - ROC 곡선 : 이진 분류 시스템에 대한 성능 평가 기법
  

✔️ 기존 사례에서 사용된 데이터셋을 먼저 적용해보는 것도 프로젝트를 성공으로 이끄는 지름길.
✔️ 커뮤니티 살펴보기 : Tensorflow Korea, 캐글 등..