[Upstage] AI 기초 학습 : 딥러닝 | Part 1. Deep Learning

[Deep Learning Basic]

Chapter 1-1 & 1-2. 딥러닝의 발전 5단계 1 : 1단계 ~ 5단계

딥러닝의 발전 5단계 | DL Development in 5 Steps

• AI/ML/DL 관점에서 크게 5단계로 개발 방법론이 진화(세 단계로 SW 1.0, SW 2.0, SW 3.0 으로도 나뉨) [단계 별 특징]
  1. Rule based programming(SW 1.0 방식)
     1. 목표 달성에 필요한 연산 방법을 사람이 전부 고안
  2. Conventional machine learning(SW 1.5 방식)
     1. 특징 값을 뽑는 방식은 사람이, 특징 값을 판별하는 로직은 기계가 고안
  3. Deep Learning(SW 2.0 방식)
     1. 모든 연산들을 기계가 고안
  4. Pre-training &Fine-tuning
     1. 전체 특징을 구별하는 모델을 고정 시켜둔 후(Pre-training) mapping 부분만 해당 Task에 대한 Data로 미세 조정(Fine-tuning)하는 방식
  5. Big Model & zero/few shot
     1. in-context learning
     2. 입력된 문장을 보고 기계가 스스로 해야 할 Task를 찾아서 진행

Chapter 1-3 & 1-4. 딥러닝 기술 종류들 : 학습 방식, 데이터 형식, 태스크 종류에 의한 구분

AI 구분법

• 데이터 Data
  • 정형 데이터 / 이미지, 동영상 / 텍스트 / 음성
• 학습 Learning
  • Supervised Learning / Un-Supervised Learning / Reinforcement Learning
• 태스크 Task
  • 인식 / 생성

AI = 모델 = 연산의 집합 = 프로그램

• 컴퓨터는 숫자만 이해하므로, 입/출력 모두 숫자

학습 방식에 의한 구분

교사 학습(Supervised Learning)

• 정답이 필요함
• 라벨링 데이터
• 직접 피드백
• 교사 학습으로 학습된 모델은 분류(Classification) 태스크 혹은 회귀(Regression) 태스크를 수행
  • 분류(Classification) : 분류는 기정의된 클래스들 중 입력이 어느 클래스에 해당하는지 맞추는 태스크
  • 회귀(Regression): 회귀는 입력 데이터에 대한 실수 혹은 실수의 집합을 (벡터) 출력으로 맵핑 해주는 (Mapping) 태스크
• 라벨링 노이즈(Labeling Noise)
  • 라벨링 결과에 대한 노이즈 = 라벨링 작업에 대해 일관되지 않음의 정도

비교사 학습(Un-Supervised Learning)

• 정답이 없음
• 라벨링 데이터 X
• 피드백 X
• 숨은 구조 찾기
• 비교사 학습으로 학습된 모델은 차원 축소(Dimension Reduction) 혹은 클러스터링 (Clustering) 태스크를 수행
  • 클러스터링(Clustering)
    1. 임의의 두 점을 정하고 클래스 부여(클래스의 중심점)
    2. 나머지 점들은 가장 가까운 쪽의 클래스 중심점의 클래스 부여
    3. 클래스별 중심점 재 계산 후 2번 과정 반복
  • 차원 축소(Dimension Reduction)
    • N차원 입력을 N>n 차원 출력으로 변경하는 태스크
    • 차원 축소를 하는 이유 1) 정보 압축: 이미지/비디오/오디오 압축 2) 정보 시각화: 사람이 눈으로 확인할 수 있는 것은 3차원 까지 3) 정보 특징: 중요한 특징을 추출하여 분석에 사용
      

강화 학습(Re-Inforcement Learning)

• 라벨링 데이터 X
• 지연 피드백
• 보상 신호(정답과 유사한)
• 강화학습의 4가지 구성요소 : 에이전트(Agent), 보상(Reward), 행동(Action), 환경(Environment)
  • 예시
    1. 자전거 배우는 예제
       1. Agent: 어린 아이
       2. Action: 핸들/브레이크/페달 조정
       3. Environment: 학교 운동장
       4. Reward: 자전거 넘어지지 않고 이동하는 시간
       5. State: 시각/청각/촉각
    2. 아타리 비디오 게임 예제
       1. Agent: 게이머
       2. Action: Up/Down
       3. Environment: 아타리 게임 시스템
       4. Reward: 게임 점수
       5. State: 게임 화면
• Model-Free 강화학습에서는 정책/가치 함수에 해당하는 두 가지 AI가 필요

학습 방식에 의한 구분

정형 데이터(Tabular Data)

• 구조화된 정보롤 저장되어 있는 것
• 딥러닝을 통해서 비정형 데이터를 구조화된 정보로 바꿀 수 있음

컴퓨터 비전(Computer Vision)

• 입력으로 이미지나 동영상 데이터를 받는 AI

자연어 처리(Natural Language Processing)

• 입력으로 텍스트 데이터를 받는 AI
• LLM(Large Language Model)

음성 인식/생성 (Speech Recognition/Generation)

• 입/출력으로 음성 데이터가 활용되는 AI
  • 음성 인식(Speech Recognition) : 입력 = 음성
  • 음성 생성(Speech Generation) : 출력 = 음성

태스크 종류에 의한 구분

인식 및 생성(Recognition & Generation)

• 비정형 데이터와 정보의 입출력 관계에 따라 인식 혹은 생성으로 구분됨
  • 인식(Recognition) : 비정형 데이터 입력에 정보가 출력
  • 생성(Generation) : 출력이 비정형 데이터인 경우
• 인식 기술이 어려울까 생성 기술이 어려울까?
  • “What I cannot create, I do not understand.” - Richard Feynman

생성 모델의 역사(History of Generative Models)

• 이미지 생성
  • 2014년의 GAN(Generative Adversarial Network)
  • 2021년도에 공개한 DALL-E
    • 입력을 텍스트로 받아서 통제력 문제를 해결
  • 2023년도에 Stability AI의 Stable Diffusion이 상업적으로 이용 가능하게 됨
• 텍스트 생성
  • 2023년도의 OpenAI가 내놓은 ChatGPT

---

[참고 자료]
https://kdt.fastcampus.co.kr/classroom/234515

#패스트캠퍼스 #UpstageAILab #Upstage #부트캠프 #AI #데이터사이언스 #무료교육 #국비지원