Inductive bias

• 이는 기본적으로 모델이 학습 과정에서 데이터로부터 일반화(generalization)를 수행하는 방식에 영향을 미치는 가정이나 선험적 지식을 의미합니다.
• 다시 말해, inductive bias는 모델이 학습 데이터 외의 새로운 데이터에 대해 어떻게 예측을 할 것인가에 대한 모델의 "기본 설정"입니다.

Inductive Bias의 중요성

1. 일반화 능력:

• 모든 머신러닝 모델은 제한된 양의 학습 데이터를 바탕으로 미래 데이터에 대해 예측을 수행해야 합니다.
• Inductive bias는 모델이 이러한 일반화를 어떻게 수행할지 결정하는 데 중요한 역할을 합니다.

2. 학습 효율성:

• 적절한 inductive bias는 모델이 더 적은 데이터로 더 빠르게 학습하도록 도울 수 있습니다.

3. 성능:

• 특정 문제에 적합한 inductive bias를 가진 모델은 그렇지 않은 모델보다 더 나은 성능을 보일 수 있습니다.

Transformer 모델과 Inductive Bias

• Transformer 모델, 특히 대규모 언어 모델들은 상대적으로 inductive bias가 적다고 여겨집니다.
• 이는 이러한 모델들이 데이터에서 패턴을 학습하는 데 있어, 특정한 구조적 제약이 적다는 것을 의미
  • 예를 들어, 전통적인 순환 신경망(RNN)은 시퀀스 데이터 처리에 강한 inductive bias를 가지고 있지만, Transformer는 이러한 가정이 덜 명확합니다.
• 이러한 상황에서,Transformer 모델들은 더 많은 데이터와 파라미터를 필요로 할 수 있습니다.
• 왜냐하면, 적은 inductive bias는 모델이 데이터로부터 패턴을 학습하는 데 더 많은 자유도를 가지기 때문에, 이를 보완하기 위해 더 많은 데이터와 파라미터가 필요할 수 있습니다.