[ML] 선형모델 하이퍼 파라미터 “C” (규제강도)

선형모델의 하이퍼 파라미터 중 “C” (규제강도)에 관한 페이지입니다.

개념

• C = 자유도
• 모델의 w 가중치 업데이트 시, 자유도를 조절
  • 자유도: w 를 부여할 수 있는 범위 정도.
    • 자유도가 크다 -> w 가 가질 수 있는 범위가 넓음
    • 자유도가 작다 -> w 가 가질 수 있는 범위가 적음
• C 값이 작을수록(즉, 자유도가 낮을수록) 규제가 강해짐 -> 모델이 단순해짐
• C 값이 클수록(즉, 자유도 높을수록) 규제가 약해짐 -> 모델이 복잡해짐 -> 과대적합 위험!!

기준

• default = 1

C 값 크기(자유도)	규제 강도	가중치 크기	모델 복잡도	과적합/과소적합 경향
작다 (0.001 ~ 0.1)	강함	작아짐	단순	과소적합 가능 ↑
중간 (1)	보통	균형	적당	기본값(가장 안정적)
크다 (5 ~ 10 이상)	약함	커짐	복잡	과적합 위험 ↑

C 규제가 필요한 이유

• 모델은 학습할 때 오차를 줄이기 위해 가중치를 크게 조정하려는 경향을 보임
• 가중치가 너무 커지면 과적합 위험이 있음
• 규제를 통해 가중치의 크기를 제한 -> 과적합 제어