1.강의 내용

[Ai Math 5강]딥러닝 학습방법 이해하기

• 소프트맥스 함수는 모델의 출력을 확률로 변환해주는 연산
• 분류 문제를 풀 때 선형모델과 소프트맥스 함수를 결합하여 예측
• 신경망은 선형모델과 활성함수를 합성한 함수
• 활성함수는 R 위에 정의된 비선형 함수
• 활성함수 종류로 시그모이드 함수, tanh 함수, ReLU 함수가 있고 ReLu함수가 많이 쓰임
• 다층 퍼셉트론(MLP)은 신경망이 여러 층 합성된 함수
• 층이 깊을수록 목적함수를 근사하는데 필요한 뉴런(노드)의 숫자가 빨리 줄어들어 효율적으로 학습이 가능
• 딥러닝에서는 역전파 알고리즘을 이용하여 각 층에 사용된 패러미터를 학습
• 각 층 패러미터의 그레디언트 벡터는 역순으로 계산
• 역전파 알고리즘은 연쇄법칙 기반 자동미분 사용

[Ai Math 6강]확률론 맛보기

• 딥러닝은 확률론 기반의 기계학습 이론으로 확률론 내용 필수
• 기계학습에서 사용되는 손실함수들의 작동 원리는 데이터공간을 통계적으로 해석해서 유도
• 회귀 분석에서 L2-norm을 통해 예측오차의 분산을 가장 최소화하는 방향으로 학습 유도
• 분류 문제에서 교차엔트로피를 통해 모델 예측의 불확실성을 최소화하는 방향으로 학습 유도
• 확률변수는 확률분포 𝒟에 따라 이산형과 연속형 확률변수로 구분
• 이산형 확률변수는 확률변수가 가질 수 있는 경우의 수를 모두 고려하여 확률을 더해서 모델링
• 연속형 확률변수는 데이터 공간에 정의된 밀도 위에서의 적분을 통해 모델링 (확률값으로 해석 X)
• 확률분포는 데이터공간을 𝒳×𝒴라 표기하고 𝒟는 데이터공간에서 데이터를 추출하는 분포
• 결합분포로 𝒟 모델링
• 조건부확률분포 P(x|y)는 데이터 공간에서 입력 x와 출력 y 사이의 관계를 모델링
• 조건부확률 P(y|x)는 입력변수 x에 대해 정답이 y일 확률을 의미
• 로지스틱 회귀에서 사용했던 선형모델과 소프트맥스 함수의 결합은 데이터에서 추출된 패턴을 기반으로 확률을 해석하는데 사용
• 분류 문제에서 softmax(Wφ + b)은 데이터 x로부터 추출된 특징패턴 φ(x)과 가중치행렬 W을 통해 조건부확률 P(y|x)을 계산
• 딥러닝은 다층신경망을 사용해 데이터로부터 특징패턴 φ을 추출
• 기대값은 데이터를 대표하는 통계량이자 확률분포를 통해 다른 통계적 범함수를 계산하는데 사용
• 기대값을 이용해 분산, 첨도, 공분산 등 여러 통계량을 계산
• 몬테카를로 샘플링
  대부분의 ml 문제에서 확률분포를 명시적으로 모르는 경우가 많음. 이에 대한 해결책으로 몬테카를로(Monte Carlo) 샘플링 방법을 사용. 몬테카를로 샘플링은 독립추출만 보장된다면 대수의 법칙에 의해 수렴성 보장

2.과제 수행 과정/결과물 정리

[필수과제] 4, 5 진행 중
[필수퀴즈] 5, 6강

3.피어 세션

학습 내용 공유

1.과제 코드 리뷰

• 진행 X

2.강의 내용 및 심화내용 토론

• [Ai Math 5강]딥러닝 학습방법 이해하기
• [Ai Math 6강]확률론 맛보기
• 몬테카를로 샘플링 내용 보충
  참조) http://jinyongjeong.github.io/2017/02/22/lec11_Particle_filter/

4.학습회고

피어 세션의 방향이 확실히 잡혀가는 것 같습니다. 현재 조원분들과 진행되는 5주간의 피어세션에서 좀더 많은 내용을 다룰 수 있을 것 같습니다. 항상 디버깅에 약했는데 필수과제 4를 통해 좀더 관련 경험을 쌓아야 함을 느꼈습니다.