[24.08]The Impact of Quantization on Retrieval-Augmented Generation: An Analysis of Small LLMs

"LLMs, 즉 Generator에 AWQ 적용해서 Q. Retrieval 사용해서 RAG. Generator를 Q한거랑 Q안한거랑 성능 비교한 논문"

• LLMs

  • LLaMA 3 - 8B
  • Zephyr
  • OpenChat
  • Starling

• Tasks & Datasets

  • LaMP-3 "Personalized Product Rating"
  • LaMP-5 "Personalized Scholarly Title Generation"

• Evaluation

  • LaMP-3: MAE
  • LaMP-5: Rouge-L

• Retrieval

  • number of retrieved documents
    • $k$ $\in$ $\{0, 1, 3, 5, max\_4k, max\_8k\}$
      • 0: zero-shot w/o retrieval
      • max: max number of documents that can be put into the prompt,
        given the contex window of the LLM.
        • max_4k: 4096 token context window (15-18 for LaMP-5U)
        • max_8k: 8192 token context window (25-28 for LaMP-5U)

• Retrievals

  • BM25
  • Contriever
  • DPR

• Quantizatoin Methods

  • AWQ

• Results
  

  • 1. LLM Models: Openchat 승
  • 2. Quantization: Openchat 승
  • 3. number of retrieved documents
    • LaMP-3U (MAE 🔽)
      • 
      • $k$ 증가함에 따라 성능 증가하다가, max_8k 부터는 악화
    • LaMP-5U (Rouge-L 🔼)
      • 
      • $k=5$ 이상부터 악화
  • 4. Retrievers
    • Contriever $\approx$ DPR > BM25 (큰 차이 없음)

• Discussion

  • Quantization 이후 RAG pipelines의 LLMs는 "LLM Model dependent" & "task-dependent" 하다.

  • Quantization Method는 LLM Model 마다 각기 다른 영향을 주기에, quantization과 RAG 성능간의 관계는 straightforward하지 않다.

  • prompt sensitive

    • LLM의 dataset 간의 성능 차이는 prompting이 부분적인 원인이 될 수 있다.
    • LLMs는 prompts에 sensitive하기에, 한 LLM에서 동작하는 prompt가 다른 LLM에는 동작하지 않을 수 있다.

  • knowledge conflict

    • LLM의 parametric information과 retrieval한 contextual information 간의 knowledge conflict로 성능 하락.

    • ex) LaMP-5U에서, 만약 LLaMA3가 이미 abstract-title를 memorized 했다면, 같은 author의 유사한 abstract-title pairs가 주어졌을 때 knowledge conflict 발생 가능.

    • 너무 많은 retrieved documents의 경우, 오히려 성능 악화. (실험에서도 보듯이 5개 초과 documents)