[부스트캠프 AI Tech 5기] Week 3 정리 및 회고

Week3 강의 부분 요약

Bias and Variance

• bias : 평균적으로 true target에 접근해 있는지 정도를 표현하는 값
• variance : 출력이 얼마나 일관적인지를 표현하는 값

Bootstrapping

• Bagging (Bootstrapping aggregating)
  • 전체 데이터셋에서 랜덤하게 데이터셋을 부분적으로 추출하여 여러 모델을 학습한 후에 각 모델이 예측한 값을 다시 합하여(voting, averaging) 최종 예측을 하는 방법
• Boosting
  • 오분류한 데이터에 가중치를 부과하여 학습하는 방식

Batch-size Matters

• 일반적으로 batch size가 작을수록, generalize performance가 높음
• sharf minimizer 보다는 flat minimizer에 도달하는 것이 더 좋음

Adam optimizer

• 가장 무난하게 사용하는 optimizer
• gradient의 크기가 변함에 따라 adaptive하게 learning rate를 바꾸는 것과 이전의 gradient 정보에 해당하는 momentum 이 2개를 잘 합친 것이 Adam

VGGNet

• 오직 3 x 3 filter만을 이용함으로써 모델을 깊게 쌓은 모델
• 같은 사이즈의 receptive field를 본다고 하였을 때 5 x 5 kernel을 이용하는 것보다 3 x 3 필터를 2번 이용하는 것이 더 적은 파라미터를 이용하게 됨

GoogLeNet

• Inception Block
  • 하나의 입력에 대해 여러 개의 receptive field를 가지는 filter를 거치고 이를 통해 여러 개의 response 들을 concat하는 효과를 가짐
  • 1 x 1 conv 를 이용함으로써 전체적인 네트워크의 parameter의 수를 줄일 수 있었음

ResNet

• Skip connection 구조를 이용한 residual learning을 함으로써 layer가 깊어지며 발생할 수 있는 gradient vanishing 문제를 해결한 모델

Variational Autoencoder

• input x를 generate 할 수 있는 확률분포를 찾는 것이 목적
  • encoder : 확률 분포의 평균 및 분산을 찾음 (이때, feature vector가 guassian distribusion을 따를 것이라고 가정)
  • decoder : 예측한 확률 분포를 바탕으로 input인 x와 유사한 data를 생성

Diffusion Models

• Noise로부터 image를 '점진적으로' 생성해내는 모델
• Forward(diffusion) Process
  • image에 점진적으로 noise를 주입하는 과정
  • 이미 정해져있는 term으로 학습을 할 필요가 없는 과정임
• Reversive Process
  • noise가 주입된 이미지에서 denoising된 이미지를 만들어 내는 과정
  • 학습이 필요한 과정임
• 굉장히 오랜 과정을 거쳐 noise vector로부터 original image를 만들어내므로, 추론 시간이 오래 걸리는 단점이 있음
• 데이터가 고정되어 있고, parameter의 숫자가 거의 동일하다면 일반적으로 diffusion model의 성능이 가장 좋다고 함

마스터 클래스 - 최성준 교수님(고려대학교 인공지능학과)

• 쉽게 설명할 줄 알아야 진짜 아는 것
• 바로 지금은 물론 힘들겠지만, 분명 1년 뒤 2년 뒤쯤에는 정말 많은 성장을 이룰 것임!

한 주 요약

이번 주에는 [DL Basic] 강의들을 통해 딥러닝의 베이직한 내용들을 다시 한번 정리할 수 있었고, [Data viz] 강의들을 통해 데이터 시각화에 대한 기본적인 개념들과 모듈 활용 방법들에 대해 배웠습니다.
특히 데이터 시각화에 대해서는 따로 배워본 적이 없었는데, 데이터에 적합한 다양한 시각화 방법이 존재한다는 것과 어떤 식으로 시각화해야 더 insight를 잘 전달할 수 있을지에 대해 배울 수 있었습니다. (+ 시각화가 정말 재밌는 분야구나라는 것도 알 수 있었습니다..!)
다음 주에 이어서 배울 시각화도, 그리고 본격적으로 들어갈 도메인 이론 강의들도 너무 기대가 됩니다!☺️☺️
그럼 다음 주차도 화이팅 해보겠습니다💪🔥