quantization

1.[LLM] Quantization의 이론과 적용

post-thumbnail

최근에 GPTQ를 바탕으로 LLM Quantization을 간단히 진행하였다. 따라서, 딥러닝에서의 Quantization에 대한 개념을 정리하고, LLM에 대한 Quantization은 실제로 어떻게 이루어지는지 기록하고자 한다. What is Quantization

2024년 9월 22일