1.58비트 양자화의 최근 현주소와 AYOT분석
1. 1.58비트 양자화란 무엇인가?
삼진(Ternary) 양자화는 모델의 가중치를 {-1, 0, +1} 단 세 가지 값으로만 표현하는 1.58비트 압축 기술입니다.
실수 연산을 극단적으로 줄이는데도 동작하는 이유는, 코사인 유사도 기반의 손실 함수로 학습되는 모델 특성상 절대적인 가중치 크기보다 가중치의 방향성이 훨씬 중요하기 때문입니다. 처음부터 삼진 형태로 학습을 진행하는 MS의 BitNet이 대표적인 예시입니다.
그러나 Qwen이나 Llama처럼 이미 FP16/BF16 고정밀도로 학습을 마친 기존 모델에 사후 양자화를 적용해 1.58비트로 압축하면 모델 성능이 치명적으로 망가집니다.
최근 소개된 Bonsai 27B 같은 모델도 1비트 양자화를 활용하긴 하지만, 내부에 보정용 웨이트를 별도로 유지하는 방식을 취해야 했습니다.
이러한 한계 속에서, 최근 사후 양자화로도 삼진 압축의 성능 붕괴를 막아내는 기술들이 등장하며 주목받고 있습니다.
2. 기존 사후 양자화의 숨겨진 문제점
일반적으로 사후 양자화를 진행할 때는 소량의 일반 코퍼스를 보정 샘플로 활용하여 가중치 분포와 임계값을 맞춥니다.
이렇게 처리된 모델은 일반 텍스트 생성이나 Perplexity 지표상으로는 별문제가 없어 보입니다.
하지만 수학이나 코딩 같은 추론 과제에서는 성능이 급격히 붕괴합니다.
-
원인 분석: 추론 모델이 생성하는 '사고 체인'의 활성화 분포는 일반 텍스트 코퍼스와 크게 다릅니다.
-
오차 누적: 보정 과정에서 사용하는 데이터와 실제 추론 시 생성되는 활성화 분포가 불일치하면서, 단답형 응답에서는 티가 나지 않다가 긴 추론 과정을 거칠 때 오차가 누적되어 최종 결과가 완전히 틀어지게 됩니다.
3. AYOT
AYOT의 핵심 아이디어는 매우 명쾌합니다. "모델 자신이 직접 생성한 사고 과정을 보정 데이터로 활용한다"는 것입니다.
외부의 정답지나 사람이 작성한 해설을 가져오는 대신, 원본 고정밀 모델에게 보정용 문제 세트를 풀게 한 뒤 모델 스스로 출력을 유도한 추론 과정과 최종 답변 전체를 보정 컨텍스트로 사용합니다.
ScaleQ-1.58 파이프라인
AYOT 개념에 기존 CAT-Q의 핵심 기법을 결합한 것이 ScaleQ-1.58입니다.
- AYOT: 모델 자체의 추론 트레이스를 보정 데이터로 활용
- Learnable Modulation : 가중치 분포와 삼진 임계값을 학습 가능한 인자로 조정
- Softened Ternarization : 삼진화 과정을 미분 가능한 전이 함수로 부드럽게 처리
이 파이프라인을 활용하면 기존 GGUF 포맷을 재정의하거나 전체 학습 파이프라인을 갈아엎지 않고도 사후 삼진 양자화의 성능 붕괴 문제를 상당 부분 해결할 수 있습니다.
4. 실제 성능 및 효용성
Qwen3 모델 라인업을 대상으로 ScaleQ-1.58을 적용한 결과는 매우 인상적입니다.
- 극단적인 토큰 효율성: Qwen3-1.7B를 ScaleQ-1.58로 삼진화했을 때, 주요 수학·코딩 4개 태스크 평균 기준으로 약 4조 토큰을 학습한 BitNet b1.58 2B4T 성능의 90.52% 이상을 재현했습니다.
이때 사용된 보정 토큰은 단 4M 개로, 사전 학습에 필요한 토큰의 100만분의 1도 되지 않는 분량입니다.
-
추론 성능 대폭 개선: Qwen3-4B 모델에 AYOT 보정을 적용했을 때, 일반 보정 방식 대비 절대 수치로 8.97%p의 성능 향상을 기록했습니다.
-
뛰어난 확장성: 1.7B부터 235B 규모까지, Dense 및 MoE 구조를 가리지 않고 안정적으로 적용됩니다.
-
현실적인 계산 비용: 256K~16M 보정 토큰 범위 내에서, 8×A100-80GB 서버 1대로 최소 4시간에서 최대 240시간내에 1.58비트 추론 모델을 추출할 수 있습니다.
참고
기반 기술인 CAT-Q 역시 단 512개의 보정 샘플만으로 100B 토큰급 QAT를 진행한 BitNet 1.58 v1/v2 계열보다 우수한 성능을 보여줍니다.
현재 CAT-Q의 GitHub 저장소에는 Qwen3 및 Llama2-7B의 삼진 체크포인트가 공개되어 있습니다.
5. 트레이드오프 및 현시점의 한계
-
추론 트레이스 추출 비용: AYOT 방식은 원본 고정밀 모델을 직접 구동해 보정용 추론 데이터를 먼저 생성해야 하므로, 일반 텍스트 보정 대비 준비 단계의 계산 비용이 더 듭니다.
다만 INT8 환경에서도 수행할 수 있어 대규모 사전학습 비용에 비하면 매우 경미한 수준입니다. -
목표 성능 범위: 본 기법의 목표는 FP16 원본과의 완벽한 동등함이 아니라 native 삼진 모델성능의 90% 이상을 사후 양자화로 달성하는 것입니다.
-
코드 공개 현황: 현재 CAT-Q 및 BitTern 저장소는 활발히 업데이트되고 있으나, AYOT 단독 코드 및 체크포인트는 논문 발표 초기 시점이라 아직 미공개 상태입니다.
6. 결론
지금까지 1.58비트 모델을 활용하려면 BitNet처럼 처음부터 삼진으로 사전 학습된 전용 모델을 기다려야만 했습니다.
그러나 AYOT와 ScaleQ-1.58의 등장으로, 이미 널리 사용되고 있는 Qwen 등의 범용 모델을 몇 시간 만에 1.6비트 수준으로 압축해 로컬 하드웨어에서 구동할 수 있는 길이 열렸습니다.
당장은 이미 공개된 CAT-Q 체크포인트를 통해 삼진 양자화의 성능을 테스트해보고, 향후 AYOT의 공식 코드 및 체크포인트가 오픈소스로 공개되는 시점을 주목해볼 필요가 있습니다.
