강의 복습 내용

[DAY 11] 딥러닝 기초

[AI Math 8강] 베이즈 통계학 맛보기

• 베이즈 통계학을 이해하기 위해선 조건부 확률의 개념을 이해해야 합니다.
• 베이즈 정리는 조건부 확률을 이용하여 정보를 갱신하는 방법을 알려줍니다.
• 조건부확률 P(A|B)는 사건 B가 일어난 상황에서 사건 A가 발생할 확률을 의미합니다.
  
• 베이즈 정리를 통해 새로운 데이터가 들어왔을 때 앞서 계산한 사후확률을 사전확률로 사용하여 갱신된 사후확률을 계산할 수 있습니다.
  
• 조건부 확률은 유용한 통계적 해석을 제공하지만 인과관계(causality)를 추론할 때 함부로 사용해서는 안 됩니다.
• 데이터가 많아져도 조건부 확률만 가지고 인과관계를 추론하는 것은 불가능합니다.
• 인과관계는 데이터 분포의 변화에 강건한 예측모형을 만들 때 필요합니다.
• 단, 인과관계만으로는 높은 예측 정확도를 담보하기는 어렵습니다.
• 인과관계를 알아내기 위해서는 중첩요인(confounding factor)의 효과를 제거하고 원인에 해당하는 변수만의 인과관계를 계산해야 합니다.

[DLBasic] 딥러닝 기본 용어 설명 - Historical Review

• Key Components of Deep Learning

  • The data that the model can learn from
    • Data depend on the type of the problem to solve.
  • The model how to transform the data
  • The loss function that quantifies the badness of the model
    • The loss function is a proxy of what we want to achieve.
  • The algorithm to adjust the parameters to minimize the loss

• Historical Review

  • 2012 - AlexNet
  • 2013 - DQN
  • 2014 - Encoder / Decoder
  • 2014 - Adam Optimizer
  • 2015 - Generative Adversarial Network
  • 2015 - Residual Networks
  • 2017 - Transformer
  • 2018 - BERT (fine-tuned NLP models)
  • 2019 - BIG Language Models
  • 2020 - Self Supervised Learning

[DLBasic] PyTorch 시작하기

• PyTorch
  • Numpy + AutoGrad + Function
  • Numpy 구조를 가지는 Tensor 객체로 array 표현
  • 자동미분을 지원하여 DL 연산을 지원
  • 다양한 형태의 DL을 지원하는 함수와 모델을 지원함

[DLBasic] 뉴럴 네트워크 - MLP

• Neural Networks
  • “Neural networks are computing systems vaguely inspired by the biological neural networks that constitute animal brains.”
  • Neural networks are function approximators that stack affine transformations followed by nonlinear transformations.

[DLBasic] 데이터셋 다루기

• self-study guide
  • NotMNIST 데이터을 다루는 Dataset class를 만듭니다.
  • 데이터셋 파일이 없을 때는 데이터 셋을 download하는 코드를 개발합니다.
  • 데이터를 Train / Test로 분리할 수 있도록 Dataset을 클래스를 작성합니다.
  • 데이터에서 array를 읽어올 때는 PIL 등의 모듈을 사용할 수 있습니다.

퀴즈 결과 회고

[AI Math 8강 퀴즈] 베이즈 통계학 맛보기-1~5

1. P(A∩B) = P(A)P(B|A) (O)

• ans : 예

2. 사후확률(posterior)은 가능도(likelihood)에 반비례하는가? (O)

• ans : 아니오

3. P(A|B) = P(A)P(B|A) / P(B) (O)

• ans : 예

4. P(A|B) = P(B|A)P(A) / P(B|A)P(A)+P(B|¬A)P(¬A) (O)

• ans : 예

5. 모든 변수에 대한 조건부 확률만으로 인과관계를 추론할 수 있는가? (O)

• ans : 아니오

Further Question

Regression Task, Classification Task, Probabilistic Task의 Loss 함수(or 클래스)는 Pytorch에서 어떻게 구현이 되어있을까요?

• Regression Task : MSE - torch.nn.MSELoss(size_average=None, reduce=None, reduction: str = 'mean')
• Classification Task : CE - torch.nn.CrossEntropyLoss(weight: Optional[torch.Tensor] = None, size_average=None, ignore_index: int = -100, reduce=None, reduction: str = 'mean')
• Probabilistic Task : MLE - torch.nn.NLLLoss(weight: Optional[torch.Tensor] = None, size_average=None, ignore_index: int = -100, reduce=None, reduction: str = 'mean')

피어 세션 정리

강의 리뷰 및 Q&A

• [AI Math 8강] 베이즈 통계학 맛보기
• [DLBasic] 딥러닝 기본 용어 설명 - Historical Review
• [DLBasic] PyTorch 시작하기
• [DLBasic] 뉴럴 네트워크 - MLP
• [DLBasic] 데이터셋 다루기

[개인] Self-Supervised Representation Learning

• 링크 참고

과제 진행 상황 정리 & 과제 결과물에 대한 정리

[DLBasic] MLP Assignment

MLP(Multi-Layer Perceptron)에 대한 것으로, 어렵지 않게 해결했습니다.

총평

이번 주, 본격적으로 딥러닝 학습이 시작됩니다.
비교적 여유로웠던 지난주와는 달리, 이번 주는 월요일부터 강의와 퀴즈 그리고 과제의 밀도가 높아진 것이 체감됩니다.
이 정도 페이스라면, U Stage 막바지에는 꽤 지쳐있을 것으로 생각됩니다.
무리하지 않도록, 멘탈과 건강 관리에 유념해야겠습니다.

그리고 오늘 강의를 들으면서, PyTorch에 대한 예습을 해야겠다고 생각했습니다.
비록 시간이 많지는 않지만, 짬을 내서라도 한 번 공부를 해야 될 것 같습니다.

오늘보다 더 성장한 내일의 저를 기대하며, 내일 뵙도록 하겠습니다.

읽어주셔서 감사합니다!