[project4] QWEN

Qwen/Qwen2.5-32B-Instruct-AWQ

4비트 AWQ(Activation-aware Weight Quantization) 양자화를 적용한 지시 조정(instruction-tuned) 모델이다.
위 모델을 사용해서 실험을 진행하려고 했는데 아래와 같은 오류가 발생했다.

Target module WQLinear_GEMM(in_features=5120, out_features=5120, bias=True, w_bit=4, group_size=128) is not supported. Currently, only `torch.nn.Linear` and `Conv1D` are supported.

AWQ Quantization Issues로 huggingface transformers Issues를 확인해보니, AutoAWQ는 training과 함께 사용할 수 없다고 한다.

huggingface transformers Code autoawq를 확인해보아도 test_awq와 관련된 코드만 확인할 수 있었다.