일단 면접과 관련된 급한 불들은 껐기 때문에 조금 천천히 내 하고 싶었던 GAN 공부를 하기로 했다. 그래서 위의 책을 샀고 기본을 공부했더니 이해가 예전보다 벌써 잘 되는 것 같다. 역시 기본 이론을 알고 모델을 생각하면 들어오는게 다른 것 같다.
참고로 저작권 문제로 자세히 서술하지 않을 것이며, 내가 중요하다고 생각한 부분들만 적을 것이고 질문 형식으로도 서술 할 것이다.
-
Q. MLE 란?
A. MLE, Maximum Likelihood Estimation, 또는 최대우도법 이란 모델의 파라미터를 추정할때 사용하는 방법입니다. 파라미터들이 맞을 확률, 즉 우도가 가장 높은 모델을 찾아 그 모델로 모르는 분포를 추정하는 것을 말합니다. -
Q. 생성모델은 데이터를 어떻게 학습한다고 생각하나?
A. 생성모델은 데이터를 비지도학습을 통해 그 데이터의 분포를 최대한 흉내내려고 합니다. -
Q. 표현학습이 뭔가요?
A. 표현학습, representation learning 이란 데이터에서 소수의 중요 변수를 통해 이미지를 파악하고 창조하거나 변경하는 학습 방법을 말합니다. 이때 표현학습의 가장 큰 장점은 어떤 변수들이 중요한지 알 수 있다는 점입니다.
Chapter 1. 생성 딥러닝을 소개합니다.
-
판별기는 2015년부터 이미 인간이 판별하는 것보다 더 잘 판별하며 산업적으로도 많이 사용되고 있다. 이제는 판별기의 발전보다 생성기의 발전에 더 집중이 되고 있다.
-
생성 모델은 P data, 알려지지 않은 확률 분포를 최대한 흉내내려고 한다.
-
이 생성 모델이 옳다 라고 할 수 있으려면 2가지 규칙을 따라야한다. "P data 에서 뽑은 것같은 데이터라 할 수 있다", "데이터 셈플셋 X 와 일치하는 건 없어야한다. 단순 재생성이 아니다".
-
표본 공간 Sample Space, 확률밀도함수 Probability Density Function , 모수 모델 Paramtric model, 최대 가능도 추정 Maximum Likelihood Estimation MLE 등의 개념 환기.
-
GAN 모델, Generator 은 비지도 학습이다. 다른 말로, '반 고흐 그림을 완벽하게 생성하는 모델을 만들더라도 반 고흐 그림인 것을 알고 그리는 것은 아니다'. 이 부분을 제대로 이해해야 딥러닝과 생성모델의 무한한 가능성을 실감할 수 있다.
-
표현학습 Representation Learning 이란 이미지들에서 소수의 중요 변수를 통해 이미지를 파악하고 생성하는 것. Latent space 로 유명하며 이 latent space 을 조금만 바꿔도 이미지가 완전 달라진다. Representation Learning의 가장 큰 장점은 어떤 특징들이 제일 중요한지 파악할 수 있다는 점이다.
