귀납적 편향(Inductive Bias)는기계학습 모델이 학습 데이터에 없는 새로운 상황에서도 일반화할 수 있도록 도와주는 "사전 가정"이나 "전제 조건"입니다.
1. 예시로 이해하기
예를 들어, 우리는 다음 문장을 봤을 때:
- "고양이는 네 발이 있다"
- "강아지는 네 발이 있다"
다음 문장을 처음 들어봐도 쉽게 추론할 수 있습니다:
- "토끼도 네 발이 있을 것이다"
이처럼 학습 데이터에 없는 새로운 정보도 추론할 수 있는 능력을 갖게 만드는 것이 바로 귀납적 편향입니다.
2. 머신러닝에서의 귀납적 편향
모델이 특정 방식으로 데이터를 해석하거나 일반화하도록 유도하는 설계상의 선택이나 구조적 특징을 말합니다.
대표적인 예시:
| 귀납적 편향 유형 | 설명 |
|---|---|
| CNN의 지역 연산 | CNN은 이미지에서 가까운 픽셀끼리 의미가 더 깊다는 가정(지역성)을 갖고 필터를 적용합니다. |
| 순환 신경망(RNN)의 순서 의존성 | RNN은 앞에서 나온 단어가 뒤 단어에 영향을 준다는 전제를 갖고 있습니다. |
| 정규화/드롭아웃 | 모델이 너무 복잡한 관계를 과하게 학습하지 않도록 하는 단순화 편향입니다. |
3. 왜 중요한가요?
모든 기계학습 모델은 귀납적 편향 없이는 일반화할 수 없습니다.
귀납적 편향이 없다면, 모델은 학습한 것만 "외우고", 새로운 데이터에 잘 대응하지 못합니다.
4. 요약
- 귀납적 편향이란?
→ 모델이 학습 데이터 외의 상황도 잘 일반화할 수 있도록 도와주는 사전 가정이나 구조적 특징 - 예: CNN의 지역 연산, RNN의 순서 의존성, 정규화 기법 등
- 왜 중요?
→ 귀납적 편향이 있어야 모델이 새로운 상황에서도 의미 있는 예측을 할 수 있습니다.
AI developer