LLM Day 33 - Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity

Soyee Sungยท2025๋…„ 3์›” 25์ผ
0

LLM

๋ชฉ๋ก ๋ณด๊ธฐ
32/34

๐Ÿ” ์ด ๋…ผ๋ฌธ ์‹ค์Šต ์ „์— ์•Œ์•„์•ผ ํ•  ๊ฒƒ๋“ค
โœ… 1. RAG ๊ตฌ์กฐ ์ดํ•ด
RAG๋Š” "๊ฒ€์ƒ‰(Retrieval)" + "์ƒ์„ฑ(Generation)"์„ ํ•ฉ์นœ ๊ตฌ์กฐ์•ผ.
๋ชจ๋ธ์ด ๋‹ต์„ ๋งŒ๋“ค ๋•Œ, ๋จผ์ € ๊ด€๋ จ ์ •๋ณด๋ฅผ ์™ธ๋ถ€ ์ง€์‹์—์„œ ๊ฒ€์ƒ‰ํ•ด์„œ ์‚ฌ์šฉํ•ด.

๐Ÿ“š ์˜ˆ๋น„ ์ง€์‹:์–ด๋–ป๊ฒŒ ๋ฌธ์„œ๋ฅผ ๊ฒ€์ƒ‰ํ•˜๊ณ ,๊ทธ๊ฑธ LLM์— ๋„ฃ์–ด์„œ ๋‹ต์„ ๋งŒ๋“œ๋Š”์ง€๋ฅผ ์ดํ•ดํ•ด์•ผ ํ•ด.

โœ… 2. Retrieval ๋ฐฉ๋ฒ•
๊ฒ€์ƒ‰์ด๋ž€? โ†’ ์งˆ๋ฌธ(Query)์— ๋งž๋Š” ๋ฌธ์„œ๋ฅผ ์ฐพ์•„์˜ค๋Š” ๊ณผ์ •์ด์•ผ.

์ฃผ๋กœ ์“ฐ๋Š” ๋ฐฉ๋ฒ•:
Dense Retriever (์˜ˆ: FAISS, DPR ๋“ฑ)
Embedding ๊ธฐ๋ฐ˜ ๊ฒ€์ƒ‰: ๋ฌธ์žฅ/์งˆ๋ฌธ์„ ๋ฒกํ„ฐ๋กœ ๋ฐ”๊ฟ”์„œ ๋น„์Šทํ•œ ๊ฑธ ์ฐพ์•„๋ƒ„.

๐Ÿ“š ์˜ˆ๋น„ ์ง€์‹:
๋ฒกํ„ฐ ์ž„๋ฒ ๋”ฉ ๊ฐœ๋…, ์ฝ”์‚ฌ์ธ ์œ ์‚ฌ๋„ ๋“ฑ ์œ ์‚ฌ๋„ ๊ณ„์‚ฐ ๋ฐฉ๋ฒ•, FAISS ๊ฐ™์€ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ ์‚ฌ์šฉ๋ฒ•

โœ… 3. ๋‹ค์–‘ํ•œ RAG ์ „๋žต
๋…ผ๋ฌธ์—์„œ๋Š” ์งˆ๋ฌธ ๋‚œ์ด๋„์— ๋”ฐ๋ผ ๋‹ค๋ฅด๊ฒŒ ๋Œ€์‘ํ•ด.

No Retrieval: ๊ทธ๋ƒฅ ๋ฐ”๋กœ ์ƒ์„ฑ
Single-shot RAG: ํ•œ ๋ฒˆ๋งŒ ๊ฒ€์ƒ‰
Iterative RAG: ๋ฐ˜๋ณต ๊ฒ€์ƒ‰ (๋‹ต์ด ๋ช…ํ™•ํ•ด์งˆ ๋•Œ๊นŒ์ง€)

๐Ÿ“š ์˜ˆ๋น„ ์ง€์‹:
์งˆ๋ฌธ์˜ ๋ณต์žก๋„ ๋ถ„์„, ์—ฌ๋Ÿฌ retrieval step์„ ์กฐ์ ˆํ•˜๋Š” ๋ฐฉ๋ฒ•

โœ… 4. LangGraph ์‚ฌ์šฉ๋ฒ•
LangGraph๋Š” โ€œLLM์ด ๋‹จ๊ณ„๋ณ„๋กœ ์–ด๋–ป๊ฒŒ ํ–‰๋™ํ• ์ง€โ€๋ฅผ ์งœ์ฃผ๋Š” ๋„๊ตฌ์•ผ.
์šฐ๋ฆฌ๋Š” ์—ฌ๊ธฐ์„œ ์งˆ๋ฌธ โ†’ ๋ณต์žก๋„ ํŒ๋‹จ โ†’ ๊ฒฝ๋กœ ์„ ํƒ โ†’ ์‘๋‹ต ์ƒ์„ฑ ํ๋ฆ„์„ ๋งŒ๋“ค ๊ฑฐ์•ผ.

๐Ÿ“š ์˜ˆ๋น„ ์ง€์‹: LangGraph ๊ธฐ๋ณธ ์‚ฌ์šฉ๋ฒ• (๋…ธ๋“œ, ์—ฃ์ง€ ๊ตฌ์„ฑ, ์กฐ๊ฑด ๋ถ„๊ธฐ ๋“ฑ), LangChain ๊ฐœ๋…๋„ ๋„์›€์ด ๋ผ (LangGraph๋Š” LangChain ๊ธฐ๋ฐ˜)

โœ… 5. ๋…ผ๋ฌธ ์‹คํ—˜ ๊ตฌ์กฐ
๋…ผ๋ฌธ์—์„œ๋Š” ์งˆ๋ฌธ ๋‚œ์ด๋„์— ๋”ฐ๋ผ ๋‹ค๋ฅธ RAG ์ „๋žต์„ ์„ ํƒํ•ด.
์˜ˆ: ์งˆ๋ฌธ์ด ๊ฐ„๋‹จํ•˜๋ฉด No Retrieval, ๋ณต์žกํ•˜๋ฉด Iterative RAG
๊ทธ๋ฆฌ๊ณ  ์–ด๋–ค ์ „๋žต์ด ๊ฐ€์žฅ ์ž˜ ๋งž๋Š”์ง€ ์„ฑ๋Šฅ์„ ๋น„๊ตํ•จ

๐Ÿ“š ์˜ˆ๋น„ ์ง€์‹:
์‹คํ—˜ ๋ฐ์ดํ„ฐ์…‹: HotpotQA, ELI5, NQ
์ •ํ™•๋„ ํ‰๊ฐ€ ๋ฐฉ๋ฒ• (EM, BLEU, ROUGE ๋“ฑ)
๊ฐ„๋‹จํ•œ ๋ชจ๋ธ ํ‰๊ฐ€ ์ง€ํ‘œ

๐Ÿ”ง ์‹ค์Šต ์‹œ ํ•„์š”ํ•œ ๋„๊ตฌ/ํ™˜๊ฒฝ

๐Ÿง  ๋จผ์ € ์ตํ˜€๋‘๋ฉด ์ข‹์€ ์ฃผ์ œ ์ •๋ฆฌ

0๊ฐœ์˜ ๋Œ“๊ธ€