LLM 양자화의 PTQ vs QAT 두 갈래 길
최근 구글이 Gemma 4 시리즈를 발표하면서 기술 생태계에 새로운 화두를 던졌습니다.
바로 원본 BF16 모델뿐만 아니라, 처음부터 양자화를 염두에 두고 학습을 진행한 QAT 버전을 공식 라인업에 포함한 것입니다. 구글은 연이어 디퓨전 LLM까지 발표하며 빠르게 기술 트렌드를 주도하려는 움직임을 보이고 있습니다.
이번 글에서는 구글이 왜 굳이 막대한 컴퓨팅 자원을 추가로 투입하며 QAT 모델을 직접 만들어 배포했는지, 그리고 이것이 기존 우리가 흔히 사용하던 PTQ(Post-Training Quantization) 방식과 대조하여 어떤 기술적 의미와 한계를 지니는지 상세히 분석해 보겠습니다.
1. 양자화의 기본 개념과 필요성
LLM(대형 언어 모델)은 수십억에서 수천억 개의 매개변수(Parameter)로 이루어져 있습니다. 기본적으로 이 매개변수들은 부동소수점 데이터 타입인 BF16(Brain Floating Point 16비트) 혹은 FP16 형태로 저장되고 계산됩니다.
문제는 이 상태 그대로 서비스를 운영하거나 로컬 환경, 모바일 기기에서 구동하려면 막대한 메모리와 연산 능력이 필요하다는 점입니다.
인프라 비용을 낮추고 실행 속도를 높이기 위해, 16비트(2바이트)의 정밀한 숫자를 8비트 또는 4비트의 거친 정수 형태로 압축하는 기술이 필요해졌으며, 이를 양자화라고 부릅니다.
2. PTQ 사후 양자화
우리가 Hugging Face나 llama.cpp 생태계에서 흔히 다운로드하여 사용하는 대부분의 양자화 모델(GGUF, EXL2 등)은 PTQ(Post-Training Quantization) 방식으로 만들어집니다.
PTQ의 작동 원리
PTQ는 이미 학습이 완벽하게 완료된 고정밀 원본 모델을 가져와서, 수학적인 알고리즘을 적용해 가중치의 스케일을 줄이고 고정된 정수형데이터 타입으로 '깎아내는' 방식입니다.
추가적인 모델 학습 과정이 없기 때문에 연산 자원이 적게 들고, 몇 시간 혹은 몇 분 만에 양자화 모델을 뚝딱 만들어낼 수 있다는 강력한 장점이 있습니다.
PTQ의 확률 분포의 왜곡 치명적인 한계
가장 큰 문제는 정밀도를 강제로 낮추는 과정에서 발생합니다.
연속적인 실수를 거친 정수로 매핑하다 보면 필연적으로 양자화 오차가 발생합니다.
단순히 성능이 나빠지는 수준을 넘어, 모델이 출력하는 토큰들의 통계적 확률 분포 자체가 원본 모델과 완전히 달라지게 됩니다.
즉, 똑같은 질문을 해도 원본 모델과 전혀 다른 엉뚱한 답변을 내놓을 확률이 높아집니다.
쓸 만한 양자화 모델의 기준
양자화 모델이 원본 모델의 확률 분포를 얼마나 잘 유지하고 있는지 측정하는 대표적인 지표가 KLD입니다.
두 확률 분포의 상이함을 나타내는 지표로, 보통 이 로그 스케일 값이 2 이내로 들어와야 비로소 실무나 서비스에서 '쓸 만한 모델'로 평가받습니다.
오픈소스 생태계의 경험칙상, PTQ 방식을 적용했을 때 원본의 성능을 적절히 방어하려면 최소 Q5_K_S 이상은 되어야 합니다.
가중치의 표현력이 원본 용량의 대략 70% 선은 유지되어야만 분포의 왜곡이 적어 정상적인 추론이 가능해집니다.
반면, 용량을 더 줄이기 위해 4비트로 깎아버리면 KLD 수치가 치솟으며 모델이 컨텍스트를 놓치거나 헛소리를 하는 비율이 급격히 늘어납니다.
엔지니어들이 중요한 프로젝트에서 4비트 PTQ 모델을 기피하고 5비트 이상을 고집하는 이유가 바로 여기에 있습니다.
3. QAT 양자 인지 학습
구글은 단순한 사후 잘라내기 방식으로는 4비트 이하 초경량 모델의 성능을 절대로 개선할 수 없다고 판단했습니다.
그래서 정반대의 접근법을 택했는데, 그것이 바로 QAT입니다.
QAT의 작동 원리
QAT는 모델을 학습시키는 과정 자체에 '양자화 격자'를 개입시킵니다.
즉, "이 모델은 최종적으로 4비트 정수로 변환되어 동작할 것이다"라는 정밀도 제한 조건을 학습 알고리즘 내부 가상 시뮬레이션을 통해 미리 인지시킨 상태로 가중치를 갱신하는 방식입니다.
처음부터 완전히 새로 스크래치 학습을 시키기도 하지만, 대개는 이미 완성된 BF16 원본 모델을 기반으로 4비트 양자화 환경을 모사하며 추가적인 사후 파인튜닝을 진행하는 방식이 주로 사용됩니다.
이렇게 학습된 모델은 정밀도가 4비트로 떨어지더라도 성능 저하가 최소화되도록 가중치들이 스스로를 보정하며 재정렬됩니다.
결과적으로 단순 PTQ로 잘려 나간 4비트 모델보다 훨씬 양호한 학습 상태를 유지하며, BF16 원본에 근접하는 복원력을 보여주게 됩니다.
4. 구글 Gemma 4 QAT 라인업의 특징과 의구심
이번에 구글이 공개한 QAT 모델들은 기존 방식과 명확한 차별점을 가집니다.
원본 하나를 두고 사용자가 알아서 깎아 쓰는 구조가 아니라, 구글이 타깃 플랫폼을 명확히 정의하고 그에 맞춰 개별적으로 사후 학습을 시켜 독립된 모델 파일로 제공합니다.
플랫폼별 맞춤형 제공
- qat-q4_0-gguf: CPU 중심의 로컬 추론 환경인
llama.cpp생태계를 겨냥한 모델 - qat-w4a16-ct: GPU 가속 및 대규모 서빙 엔진인
vLLM환경을 겨냥한 모델 - qat-mobile-*: 온디바이스 AI, 즉 모바일 기기의 NPU 환경에 최적화된 모델
모든 가중치를 정밀하게 고정 4비트로 낮춘 Q4_0 기반이기 때문에, 일부 중요 레이어의 비트를 남겨두는 복합 양자화 방식보다 용량이 훨씬 작고 가볍습니다.
하드웨어 가속기를 타기에도 정형화된 구조라 유리합니다.
짚고 넘어가야 할 마케팅과 현실의 괴리
기술적 원리는 매우 훌륭하지만, 현업 엔지니어 시선에서는 합리적인 의구심이 듭니다.
구글은 QAT의 당위성을 설명하는 백서는 그럴듯하게 공개했으나, 정작 실제 양자화 모델의 정량적 벤치마크 점수나 KLD 수치 데이터를 투명하게 공개하지 않았습니다.
4비트 양자화 모델이 잘라내기 방식보다 우수하다는 기술적 사실은 자명하지만, 검증된 Q5 급의 PTQ 모델을 대체할 수 있을 만큼의 실질적인 퀄리티를 보장하는지는 아직 미지수입니다.
마케팅적 과장이 섞여 있을 수 있으므로 현업에 무조건 도입하기보다는 실제 교차 검증이 필요한 시점입니다.
5. 4비트 정수로 어떻게 역전파 학습을 시키는가?
여기서 딥러닝 내부 아키텍처를 깊게 이해하는 분들이라면 한 가지 근본적인 의문이 생길 것입니다.
"정수형 데이터는 불연속적인 계단형 수치인데, 가중치를 미분해서 미세한 기울기를 반영하는 역전파 학습이 어떻게 가능하다는 것인가?"
이 질문은 정확 지적입니다. 역전파 과정에서 발생하는 그라디언트 값은 소수점 아래 아주 먼 자릿수까지 내려가는 극도로 미세한 변화량입니다. 만약 가중치가 고정된 INT4(표현 범위 -8 ~ +7)라면, 아무리 미세한 그라디언트를 더하고 빼도 숫자가 변하지 않거나 경계선을 넘지 못해 반영되지 않습니다. 즉, 수학적으로 미분이 불가능해 학습이 완전히 멈춰버립니다.
의사 양자화와 계단식 반영
이 난제를 해결하기 위해 QAT는 의사 양자화라는 트릭을 사용합니다.
-
순전파: 가중치를 INT4 수준의 거친 간격으로 변환하여 로스를 계산합니다.
양자화로 인한 오차와 손실을 모델이 직접 경험하게 만드는 과정입니다. -
역전파: 내부적으로는 BF16 또는 FP32 정밀도의 숨겨진 가중치를 그대로 유지합니다. 그라디언트는 이 고정밀 숨겨진 가중치에 누적됩니다.
-
가중치 업데이트: 미세한 그라디언트가 매 스텝 누적되다가, 이 숨겨진 고정밀 수치가 정수 격자의 경계선을 넘어설 만큼 커지면, 그제야 실제 양자화된 가중치에 '계단식'으로 툭 반영되는 형태를 취합니다.
이를 수학적으로 구현하기 위해 Straight-Through Estimator 같은 기법을 사용하여 미분 불가능한 구간을 통과시킵니다.
QAT 학습이 가지는 실질적 효과
이러한 제한적인 학습 환경 속에서도 QAT는 두 가지 명확한 이점을 만들어냅니다.
-
공간적 재정렬: 양자화 경계선을 고려하지 않고 애매하게 걸쳐 있던 가중치들을, 4비트로 쪼개진 후에도 원본의 출력값을 최대한 유지할 수 있는 안전한 위치로 재배치시킵니다.
-
레이어 간 오차 보상: 앞쪽 레이어에서 발생한 어쩔 수 없는 4비트 양자화 손실을, 뒤쪽 레이어의 가중치들이 미세하게 조정되면서 스스로 흡수하고 보상하는 구조를 형성합니다.
6. QAT는 만능 치트키인가?
결론부터 말하자면, QAT 역시 한계가 명확한 일종의 지식 증류 변형에 가깝습니다.
제한된 4비트 공간 안에서 원본 BF16의 방대한 지식을 흉내 내도록 쥐어짜내는 방식이기 때문입니다.
우리가 파라미터 수가 극도로 적은 소형 모델을 보며 절대 초대형 모델의 깊이를 느끼지 못하는 것처럼, 아무리 QAT로 정교하게 다듬었다 한들 원본 모델 용량의 4분의 1에 불과한 거친 표현력의 한계를 완벽히 초월할 수는 없습니다.
| 비교 항목 | PTQ | QAT |
|---|---|---|
| 추가 학습 자원 | 없음 | 필수 |
| 가중치 분포 | 원본 분포가 강제로 꺾여 왜곡됨 | 양자화 경계에 맞춰 분포가 최적화됨 |
| 4비트 성능 효율 | 성능 저하 및 확률 왜곡 심함 | 원본에 근접하도록 오차를 보상함 |
| 커스텀 유연성 | 사용자가 원하는 비트 수로 즉시 변환 | 사전에 정의된 타깃 비트/플랫폼만 사용 가능 |
그럼에도 불구하고, 아무런 보정 장치 없이 가중치를 칼로 자르듯 덜렁 잘라내던 기존 4비트 PTQ 방식에 비하면 QAT가 기술적으로 몇 단계 진보한 것은 분명합니다.
만약 로컬 서빙이나 온디바이스 환경에서 VRAM 제한으로 인해 반드시 4비트 모델을 써야만 하는 제약 조건이 있다면, 기존의 무지성 4비트 잘라내기 모델들은 완전히 퇴출당할 것입니다.
대신 구글의 Gemma 4 QAT처럼 제조사가 직접 플랫폼에 맞춰 정교하게 구워낸 QAT 모델이 그 자리를 대체하며 실용성을 크게 끌어올릴 것으로 기대됩니다.
