사전 준비를 위한 교재와 논문, 지식

이제 적용할 기법은 bayesian, guassian, MCMC, VAE, Diffusion등 확률론과 관련된 기법들을 적용할 것이다.
이 모든 기법은 베이지안 통계학을 기초로 하고 있어서 베이지안에 대한 내용을 학습해야한다.

이미 2020년 정도에 BANANAS란 경량화 기법이 나왔고 앞선 시리즈에서 소개하듯 predictor와 bayesian optimization을 결합한 모델이다. 2024년에 DiffusionNag의 획기적인 논문이 나와 앞으로 트렌드를 이끌어갈꺼라고 생각한다. diffusion을 이용한 neural architecture generation이란 기법을 위해서 사전 지식이 필요한데 나는 다음과 같은 자료들로 입문했다.

머피책 - advanced

케빈 머피의 확률론적 머신러닝의 심화편을 읽자. 확률론적으로 딥러닝을 생각하는 입문서로 매우 적절한 책이다. 또한 일련의 흐름들로 기초적인 모델부터 현재 유행하는 모델인 diffusion, 적대적 학습까지 모두 배울 수 있다.
내용이 깊다고 생각할 수 있지만 생각보다 수준이 쉽다. 개론 정도의 수준이지만 양이 많아서 문제지

2달 정도 2-3 시간씩 매일은 아니고 일주일에 2-3일정도 읽었다. 시간 투자할만한 책이다.

파이썬을 활용한 베이지안 통계

별로 좋은 책은 아니다. 일단 책에서 저자가 직접 만든 라이브러리를 사용하는데 솔직히 좀 그렇다. 베이지안의 기본적인 지식을 익힐 수 있고 그냥 실습할 수 있는 거의 유일한 책이란 점에서 한 번 읽을만 하다.

한 시간씩해서 일주일 정도 걸림

밑바닥부터 시작하는 딥러닝 5

디퓨전을 위해서 필요한 지식과 구현을 제공한다.
현재 시점에선 교재론 다른 대안이 없어서 좋던 싫던 봐야할 책

그래도 논문보고 논문 저자의 구현체를 보며 삽질하는 것보단 훨씬 좋다.
이 시리즈가 유명하고 친절해서 어느정도 신뢰성은 보장한다. 내용도 괜찮은 편이니 읽도록 하자.

논문들

BANANAS, DiffusionNag란 두 논문을 기본으로 필요한 논문들을 찾아 읽도록하자.