Generative Model
-
단순히 image나 sequence를 만들어내는 게 Generative model의 전부는 아니다.
- Anomaly detection 용으로도 활용 가능(explicit model)
- Feature learning으로 활용 가능한 것으로 기대
-
Basic Discrete Distributions
- Bernoulli distribution : 일이 일어나는 경우, 일어나지 않는 경우로만 분류 가능(coin flip)
- Categorical distribution : 경우의 수가 n개 존재하며, 모든 확률의 합이 1이 됨.
-
하나의 RGB pixel을 표현하려면 255255255개의 parameter가 필요하다
- 256256256에서, 각 r,g,b가 어떤 값을 띌 확률은 합치면 1이니까, 256에서 parameter 마지막 1개를 1-(나머지255개의 확률)로 이해할 수 있다.
- pixel 하나를 표현하는데 이렇게 많은 parameter가 필요
-
일반적으로 parameter가 많으면 많을수록 학습이 잘 안되므로 이를 줄이고 싶다.
-
모든 pixel들이 independent하다고 가정하면, 각 pixel을 훨씬 더 적은 parameter로 나타낼 수 있다.
-
Chain rule, Bayes rule, Conditional independence를 활용해 independence를 가정했을 때 parameter가 훨씬 적은 모델을 구상할 수 있다.
-
Auto-regressive model
-
-
가 앞의 n개의 x와 dependent한 경우(1개여도 되고 1~i-1까지여도 된다)
-
Autoencoder는 Generative model이 아니다.
-
-
VAE는 Generative model이다 : 왜 Generative model 되는지 아는 게 중요
-
Variational inference
- Posterior distribution에 가장 잘 맞는 Variational distribution을 찾는 것
- Posterior distribution : observation이 주어졌을 때 내가 관심있는 random variable의 확률
- Variational distribution : Posterior distribution을 바로 구하기 힘들어서, 이를 근사할 수 있는 값을 학습하기 위한 값
- ELBO를 사용해서..학부수준의 확률이 어쩌구..
피어 세션
- 1시간은 다른 조 인원들과 얘기하며 각자 어떻게 활동하는지 알아가는 시간을 가졌다.
- 보통 피어세션 때 강의 발표를 많이 함
- 우리 팀의 피어세션 시간 때 주간 회고를 하며, 다음 주에 추가로 했으면 하는 활동들을 종합하였다.
- Slack을 좀 더 활성화한다.
- 강의에 대한 질문내용을 의무적으로 가져와 발표를 대체한다.
멘토링
- 이번 주 강의 중 어려운 부분이었던 Transformer에 대해 추가 설명
- 팀원들의 질문을 모아 답변하는 시간을 가짐.
- 취업을 위해선 AI Tech 뿐만 아니라 코딩테스트 준비도 할 것을 권장
- 멘토님의 스타트업 워라벨은 좋은편, 개발 능력을 겸한 것을 어필하여 기업에 들어왔고 이를 기반으로 한 일을 많이 하시는 편
- 대기업이 관료적인 문화가 있다고 하지만 스타트업은 얕고 넓게 배우는 것 같아 그래도 하나의 전문 지식을 배울 가능성이 있는 대기업을 추천
추가로 공부할 내용
- Generative model, Autoencoder 관련 수식과 확률론을 전개하는 데 어려움이 있었다.
느낀 점
- 다른 조원들과 얘기할 수 있어 좋았다. 대부분 CV를 희망하였는데, 다음 stage로 넘어갈 때 볼 수 있었으면 좋겠다.
- 부스트캠프의 강의도 잘 이해해야 하고, 과제의 코드도 이해하고 싶고, 추가로 코딩테스트나 논문 구현 같은 걸 해보는 것도 좋고... 해야 할 게 날이 갈수록 쌓여가는 느낌이다. 이번 주말은 3일인 만큼 이해가 안 된 부분 정리하는 시간으로 써야겠다.
