INDUCTIVE BIAS ?
INDUCTIVE BIAS(also known as learning bias:학습 편향) 이란, "학습자가 경험하지 않은 주어진 입력의 출력" 을 예측하기 위해 사용하는 일련의 가정이다.
-위키피디아
조금만 더 정의하자면, "딥러닝 문제를 더 잘 풀기 위해 모달리티의 사전 정보를 통해 추가된 가정" 이다. 이러한 정의로도 이해하지 못 했어도 괜찮다. 아래에 CNN 과 ViT 의 inductive bias 에 한정적인 비교 지문을 줄테니, 문맥으로 inductive bias 를 이해해라.
CNN 모델 은 이미지의 지역적 특성(locality) 을 갖지만, Vision Transformer(ViT) 는 이미지 처리에서 전역적 특성(global aspects) 을 갖는다.
CNN 은 "이미지 픽셀의 정보는 근처 픽셀 정보와 비슷하다." 라는 가정을 따르는 모델이라, 지역적 특성을 강하게 갖고있다. 또한, CNN 은 convolution 방식 으로 연산 을하며 layer 가 마지막에 도달해서야( Network의 뒷 단 ) 전역적 특성을 이해 하기에 전역성 특성은 떨어진다 고 말할 수 있다.
반면, ViT 는 CNN과 비교했을 때, 구조적으로 사전 정보가 부족 하기에 방대한 양의 데이터 셋 학습을 필요로 하지만, 그러한 양의 학습량을 갖고있다면 overfitting 되지 않고 성능이 다른 모델보다 더 좋아진다.
따라서, ViT에는 CNN에 비해 inductive bias 가 적지만 그로 인해 위에 명시한 명확한 장점과 단점을 갖게된다.
조금 더 추가하자면, ViT 가 전역적 특성(global aspects) 을 갖는 이유는 Self-Attention 메카니즘을 사용해서, 모든 패치들 사이의 관계를 학습하기 때문 이다.
