Mnas의 search space 구조

Mnas의 search space의 구조는 두 가지가 있다. macro search space, micro search space

논문을 읽을 때 이 부분이 헷갈렸는데 그냥 위 2가지 방법으로 아키텍처를 만드는 것이다.

Macro search space: 처음부터 끝까지 전체 아키텍처를 만들고 학습하는 방법이다.

micro search space: 아키텍처를 작은 단위의 모듈을 만들고 조립해서 표현하는 방법이다.

코드의 대략적인 구현법

https://github.com/melodyguan/enas/blob/master/src/cifar10

위 깃허브를 참고하도록 하자.

일단 macro child, macro controller
micro child, micro controller

각각 2가지씩 맞춰서 만들자.
일단 구현 순서는 컨트롤러를 이용해 파라미터를 학습하고 샘플링과 학습하는 매서드를 만든다. 그 후 child란 구체적인 모델을 만들어준다.

다음 시간에는 macro controller를 만들어 보겠다.