양자화(Quantization)란?

양자화(Quantization)란?

• 모델이 사용하는 숫자의 "정밀도"를 낮춰서 용량을 줄이는 기술
• 비유
  • 원본 고화질 사진 (예: 4K, 20MB) → 선명하지만 용량이 큼
  • 압축한 사진 (예: 720p, 2MB) → 화질은 살짝 떨어지지만 용량이 훨씬 작고, 웬만해선 눈으로 봤을 때 큰 차이를 못 느낌
  • 즉, 양자화란 모델 안의 숫자(가중치)들을 좀 더 "거칠게" 표현해서 용량을 줄이는 것

자세한 설명

• LLM은 내부적으로 수십억 개의 숫자(파라미터)로 이루어져 있음
• 이 숫자들을 컴퓨터가 저장할 때 "몇 비트(bit)로 표현할지"를 정할 수 있음

  방식	숫자 하나 저장에 쓰는 비트	비유
  FP32 (원본급)	32비트	소수점 8자리까지 정확한 눈금자
  FP16/BF16	16비트	소수점 4자리 정도 눈금자
  INT8	8비트	정수 단위로만 표시된 눈금자
  INT4	4비트	큼직큼직한 눈금만 있는 눈금자 (16단계로만 구분)

  • 숫자 표현하는 눈금이 적을수록
    • 저장 공간 줄어듦
    • 연산 빨라짐
    • 대신, 정밀도가 떨어져서 성능이 낮아짐

이게 왜 중요한가?

HARI-Q3-8B (BF16, 원본) → 약 16GB 필요
HARI-Q3-8B (INT4, 양자화) → 약 4~5GB 필요

같은 모델인데 필요한 메모리(VRAM)가 3~4배 차이남 !

성능은 얼마나 떨어지나?

• INT8: 원본과 거의 차이 없음 (사람이 체감하기 어려운 수준)
• INT4: 약간의 성능 저하 있음 (HARI-Q3 KMLE 벤치마크 기준이라면, 76.78% → 73~75% 정도로 떨어질 수 있다고 보시면 됩니다, 실제 수치는 양자화 기법에 따라 다름)