Bayesian Optimization, BO는 다변량 문제 내에서 잠재적 관계를 학습하는 가장 우수한 방법 중 하나로, 사용자들이 시간이 많이 소요되고 계산 비용이 많이 드는 블랙박스 함수를 합리적인 시간 내에 최적화 할 수 있게 해준다.
전통적인 폰 노이만 아키텍쳐를 사용하는 것이 아닌, 오픈 소스인 LAVA 소프트웨어 프레임워크에 기여한 것으로, BO 시스템을 이기종 및 미세 단위 병렬, 인메모리 뉴로모픽 컴퓨터 아키텍쳐
(인텔의 Loihi 플렛폼)와 호환되도록 개발.
이 과정은 초기 지점 샘플러 (IPS)에서 시작됩니다. 여기서는 폭넓게 샘플링된 점들을 사용하여 GaussianRegressor 내에서 공간의 초기 대리 모델을 구성 합니다. 그런 다음 획득 분포는 GaussianRegressor의 사후 분포로부터 획득 분포를 계산합니다. 이 획득 분포는 검색 공간 전반에 걸쳐 불확실성을 모델링합니다. 그리고 획득 최적화기는 획득 분포를 사용하여 어떤 점을 선택할지 결정합니다. 선택된 점은 Bayesian Optimizer에서 사용자의 블랙박스 함수로 전송됩니다. 여기서 주어진 하이퍼파라미터 구성이 평가됩니다. 평가 후 블랙박스 함수는 결과를 다시 Bayesian Optimizer로 전송합니다.
Bayesian Optimizer는 블랙박스 프로세스로부터 기존 검색 공간에 대한 새로운 정보를 갖게 됩니다. 따라서 다음 단계는 이 정보를 GaussianRegressor로 전송하여 통계적인 공간 모델에 이 결과를 통합하는 것입니다. GaussianRegressor로부터 얻은 새로운 사후 분포는 그런 다음 획득 함수로 전송됩니다. 여기서 사후 분포는 획득 분포를 업데이트하는 데 사용됩니다. 마지막으로, 획득 분포는 획득 최적화기로 전송되며 다음 점이 결정됩니다.
(1) a standard two dimensional function, the Ackley function.
(2) hyperparameters of an evolutionary algorithm for training
a spiking neural network to classify the IRIS dataset.
(3) hyperparameters of a backpropagation-based learning algo-
rithm, SLAYER from the Lava deep learning library.
Backpropagartion은 역전파로, 내가 뽑고자 하는 target 값과 실제 모델이 계산한 output이 얼마나 차이가 나는지 구한 후 그 오차값을 다시 뒤로 전파해가면서 각 노드가 가지고 있는 변수들을 갱신하는 알고리즘인 것이다.
chain rule을 적용시킨다.
