๐Ÿ“š ์ œ๋ฏธ๋‚˜์ด ์ธ๊ณต์ง€๋Šฅ ํ”„๋กœ๊ทธ๋ž˜๋ฐ

Dodamยท2025๋…„ 8์›” 28์ผ
0
post-thumbnail

๋ผ๋งˆ์ธ๋ฑ์Šค

๊ตฌ๊ธ€ ์ฝ”๋žฉ: ๊ตฌ๊ธ€์ด ๋ฌด๋ฃŒ๋กœ ์ œ๊ณตํ•˜๋Š” ํŒŒ์ด์ฌ ๊ฐœ๋ฐœ ํ™˜๊ฒฝ
๊ตฌ๊ธ€ ์ฝ”๋žฉ์—์„œ ํ”„๋กœ๊ทธ๋žจ์„ ๋…ธํŠธ๋ถ(.ipynb)๋ผ๋Š” ํŒŒ์ผ์— ์ž‘์„ฑ ๋ฐ ๊ด€๋ฆฌํ•˜๋ฉฐ, ๋…ธํŠธ๋ถ์€ ๊ตฌ๊ธ€ ๋“œ๋ผ์ด๋ธŒ์— ์ €์žฅ
์ž‘์„ฑํ•œ ๋…ธํŠธ๋ถ์„ ์—ด๋ฉด ๊ตฌ๊ธ€ ์ฝ”๋žฉ์˜ ์ธ์Šคํ„ด์Šค ์‹คํ–‰
(
์ธ์Šคํ„ด์Šค: ํด๋ผ์šฐ๋“œ์ƒ์˜ ๊ฐ€์ƒ ์„œ๋ฒ„)

๋…ธํŠธ๋ถ์—์„œ ํŒŒ์ด์ฌ ์Šคํฌ๋ฆฝํŠธ๋ฅผ ์‹คํ–‰ํ•˜๋ฉด ์ธ์Šคํ„ด์Šค์—์„œ ์‹คํ–‰๋˜๊ณ ,
๊ทธ ๊ฒฐ๊ณผ๊ฐ€ ๋…ธํŠธ๋ถ์— ์ถœ๋ ฅ

TPU: ๊ตฌ๊ธ€์ด ๊ฐœ๋ฐœํ•œ ๋จธ์‹ ๋Ÿฌ๋‹ ์ „์šฉ ํ•˜๋“œ์›จ์–ด ๊ฐ€์†๊ธฐ๋กœ, ํ…์„œํ”Œ๋กœ ํ”„๋ ˆ์ž„์›Œํฌ์— ์ตœ์ ํ™”

๊ตฌ๊ธ€ ๋“œ๋ผ์ด๋ธŒ ๋งˆ์šดํŠธ
๋งˆ์šดํŠธ: ๋””์Šคํฌ ๋“œ๋ผ์ด๋ธŒ๋ฅผ ์ธ์‹ํ•˜์—ฌ ์‚ฌ์šฉ ๊ฐ€๋Šฅํ•œ ์ƒํƒœ๋กœ ์—ฐ๊ฒฐ

ํŒŒ์ด์ฌ ์ตœ์‹  ๋ฒ„์ „ ์„ค์น˜ ํ›„ ๊ฐ€์ƒ ํ™˜๊ฒฝ์„ ๋งŒ๋“ค๊ณ  ํ•„์š”ํ•œ ์ถ”๊ฐ€ ํŒจํ‚ค์ง€ ์„ค์น˜
( โ†’ ์•„๋‚˜์ฝ˜๋‹ค: ํŒŒ์ด์ฌ์˜ ์ฒด๊ณ„์ ์ธ ํŒจํ‚ค์ง€ ๊ด€๋ฆฌ์™€ ๋ฐ์ดํ„ฐ ์‚ฌ์ด์–ธ์Šค ๋ฐ ๋จธ์‹ ๋Ÿฌ๋‹ ๋“ฑ ๊ฐœ๋ฐœ ํ™˜๊ฒฝ ๊ตฌ์ถ•)

์ œ๋ฏธ๋‚˜์ด API

ํ…์ŠคํŠธ ์ƒ์„ฑ
๋ฌธ์žฅ ์ƒ์„ฑ, ์งˆ์˜์‘๋‹ต, ์š”์•ฝ, ๋ฒˆ์—ญ, ๋Œ€ํ™” ๋“ฑ
์ŠคํŠธ๋ฆฌ๋ฐ: ํ…์ŠคํŠธ๋ฅผ ์ƒ์„ฑํ•  ๋•Œ ์ผ์ •ํ•œ ๊ธ€์ž ์ˆ˜ ๋‹จ์œ„๋กœ ์ถœ๋ ฅ์„ ๋ฐ˜ํ™˜ํ•˜๋Š” ๊ธฐ๋Šฅ โ†’ ๋น ๋ฅด๊ฒŒ ์‘๋‹ต์„ ๋ฐ›์•„ ์‚ฌ์šฉ์ž์—๊ฒŒ ํ‘œ์‹œ ๊ฐ€๋Šฅ(generate_content() ํ•จ์ˆ˜์— stream=True๋กœ ์„ค์ •)
์ฑ— ๊ธฐ๋Šฅ: ๋ฉ€ํ‹ฐํ„ด ๋Œ€ํ™” ๊ฐ€๋Šฅ(chat.history๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ํ˜„์žฌ๊นŒ์ง€ ๋ชจ๋ธํ™” ๋Œ€ํ™”ํ–ˆ๋˜ ๋‚ด์šฉ์„ ๊ฐ€์ ธ์˜ด)

๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ
์—ฌ๋Ÿฌ ์ž…๋ ฅ ๋ฐฉ์‹์„ ๊ฒฐํ•ฉํ•œ ์ •๋ณด๋ฅผ ์ฒ˜๋ฆฌํ•˜๊ฑฐ๋‚˜ ์ „๋‹ฌ(ํ…์ŠคํŠธ, ์ด๋ฏธ์ง€, ๋™์˜์ƒ, ์Œ์„ฑ ๋“ฑ)
๊ณ ํ™”์งˆ ์ด๋ฏธ์ง€์™€ ๋™์˜์ƒ์€ File API๋กœ ์—…๋กœ๋“œ

์ž„๋ฒ ๋”ฉ
ํ…์ŠคํŠธ๋ฅผ ์ž„๋ฒ ๋”ฉ ๋ฒกํ„ฐ๋กœ ๋ณ€ํ™˜ํ•˜์—ฌ ํ‘œํ˜„
(์ฐธ๊ณ : ์ž„๋ฒ ๋”ฉ ๋ฒกํ„ฐ๋ž€ ์œ ์‚ฌํ•œ ์˜๋ฏธ์˜ ๋‹จ์–ด๋‚˜ ๋ฌธ์žฅ์„ ๋ฒกํ„ฐ๋กœ ๋ณ€ํ™˜ํ–ˆ์„ ๋•Œ ์„œ๋กœ ๊ฑฐ๋ฆฌ๊ฐ€ ๊ฐ€๊น๊ณ , โ€จ์œ ์‚ฌํ•˜์ง€ ์•Š์€ ์˜๋ฏธ์˜ ๋‹จ์–ด๋‚˜ ๋ฌธ์žฅ์€ ๋ฒกํ„ฐ ๊ฐ„ ๊ฑฐ๋ฆฌ๊ฐ€ ๋ฉ€์–ด์ง€๋„๋ก ์„ค๊ณ„)

ํ•จ์ˆ˜ ํ˜ธ์ถœ
๋ชจ๋ธ์—์„œ ์™ธ๋ถ€ ๋„๊ตฌ๋ฅผ ํ˜ธ์ถœํ•˜์—ฌ ์ด์šฉํ•˜๋Š” ๊ธฐ๋Šฅ
์ฆ‰, ๊ฐœ๋ฐœ์ž๊ฐ€ ์‚ฌ์ „์— ์ •์˜ํ•œ ํ•จ์ˆ˜๋ฅผ ๋ชจ๋ธ์ด ์„ ํƒ, ํ˜ธ์ถœํ•  ์ˆ˜ ์žˆ๋„๋ก ํ•˜๋Š” ๊ธฐ๋Šฅ
์˜ˆ๋ฅผ ๋“ค์–ด โ€œ์„œ์šธ์˜ ๊ธฐ์˜จ์€?โ€์ด๋ผ๊ณ  ์งˆ๋ฌธํ•˜๋ฉด ๋ชจ๋ธ ์ž์ฒด๋กœ๋Š” ์ •ํ™•ํ•œ ๋‹ต์„ ์ œ๊ณตํ•  ์ˆ˜ ์—†์ง€๋งŒ ๊ฐœ๋ฐœ์ž๊ฐ€ ๊ธฐ์˜จ ์ •๋ณด๋ฅผ ๊ฐ€์ ธ์˜ค๋Š” ์™ธ๋ถ€ ํ”„๋กœ๊ทธ๋žจ์„ ํ•จ์ˆ˜๋กœ ๋ฏธ๋ฆฌ ์ •์˜ํ•˜๋ฉด, ๋ชจ๋ธ์ด ๊ธฐ์˜จ์— ๊ด€ํ•œ ์งˆ๋ฌธ์„ ๋ฐ›์•˜์„ ๋•Œ ๊ทธ ํ•จ์ˆ˜๋ฅผ ํ˜ธ์ถœํ•ด์„œ ๊ฒฐ๊ณผ๋ฅผ ๋ฐ˜ํ™˜ ๊ฐ€๋Šฅ

ํŒŒ์ธ ํŠœ๋‹
์‚ฌ์ „ ํ•™์Šต๋œ ๋ชจ๋ธ์— ํŠน์ • ์š”๊ตฌ ์‚ฌํ•ญ์„ ์ถฉ์กฑํ•˜๋Š” ํ•™์Šต ๋ฐ์ดํ„ฐ๋ฅผ ์ถ”๊ฐ€๋กœ ํ•™์Šต์‹œ์ผœ ์ž‘์—… ํ’ˆ์งˆ์„ ํ–ฅ์ƒ์‹œํ‚ค๋Š” ๋ฐฉ๋ฒ•
์˜ˆ: ์ถœ๋ ฅ์„ ์ž„์˜์˜ ์–ด์กฐ๋‚˜ ๋ฌธ์ฒด๋กœ ์กฐ์ •, ์ถœ๋ ฅ์˜ ์‹ ๋ขฐ๋„ ํ–ฅ์ƒ, ํ† ํฐ ์ˆ˜ ๋‹จ์ถ•์„ ์ด์šฉํ•œ ์ถ”๋ก  ์‹œ๊ฐ„ ๋ฐ ๋น„์šฉ ๊ฐœ์„  ๋“ฑ

์ œ๋ฏธ๋‚˜์ด API

โœ… ๋ผ๋งˆ์ธ๋ฑ์Šค(LamaIndex): LLM(๋Œ€ํ˜• ์–ธ์–ด ๋ชจ๋ธ)์ด ์™ธ๋ถ€ ๋ฐ์ดํ„ฐ๋ฅผ ํšจ์œจ์ ์œผ๋กœ ๊ฒ€์ƒ‰ํ•˜๊ณ  ์ดํ•ดํ•  ์ˆ˜ ์žˆ๋„๋ก ๋„์™€์ฃผ๋Š” ๋ฐ์ดํ„ฐ ํ”„๋ ˆ์ž„์›Œํฌ๋กœ, ์‚ฌ์šฉ์ž๊ฐ€ ๋ณด์œ ํ•œ ๋ฌธ์„œ๋‚˜ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ์ฆ‰์‹œ ๋Œ€ํ™”ํ˜• ์ธํ„ฐํŽ˜์ด์Šค๋ฅผ ์ œ๊ณต ๊ฐ€๋Šฅ

ํ•ต์‹ฌ ํŠน์ง•:
โ€ข ๐Ÿ” ์™ธ๋ถ€ ๋ฌธ์„œ๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ์งˆ์˜์‘๋‹ต(QA)
์‚ฌ์ „ ํ•™์Šต(pretraining)์ด ์•ˆ ๋œ ์ •๋ณด๋„ ์‚ฌ์šฉ์ž๊ฐ€ ์ œ๊ณตํ•œ ๋ฐ์ดํ„ฐ ๊ธฐ๋ฐ˜์œผ๋กœ ์‘๋‹ต ๊ฐ€๋Šฅ
โ€ข ๐Ÿงฉ ๋‹ค์–‘ํ•œ ๋ฐ์ดํ„ฐ ์†Œ์Šค ์—ฐ๊ฒฐ ๊ฐ€๋Šฅ
PDF, Notion, Google Drive, DB, API ๋“ฑ ์‹ค์‹œ๊ฐ„ ์™ธ๋ถ€ ๋ฐ์ดํ„ฐ ์—ฐ๋™

โœ… ํ™œ์šฉ ์˜ˆ์‹œ
โ€ข ๊ณ ๊ฐ ์ง€์› ์ฑ—๋ด‡: ๊ณ ๊ฐ FAQ ๋ฌธ์„œ + ๋ผ๋งˆ์ธ๋ฑ์Šค โ†’ LLM ๊ธฐ๋ฐ˜์˜ ๊ณ ๊ฐ ์‘๋Œ€
โ€ข ๋‚ด๋ถ€ ๋ฌธ์„œ ๊ฒ€์ƒ‰: ์‚ฌ๋‚ด ์ •์ฑ… ๋ฌธ์„œ + ๋ผ๋งˆ์ธ๋ฑ์Šค โ†’ ์ž„์ง์› ์งˆ์˜์‘๋‹ต
โ€ข ๊ฐœ์ธ ์ง€์‹๊ด€๋ฆฌ: ๋ธ”๋กœ๊ทธ/๋…ธ์…˜ ์ •๋ฆฌ๋‚ด์šฉ + ๋ผ๋งˆ์ธ๋ฑ์Šค โ†’ ๋‚˜๋งŒ์˜ AI ๋น„์„œ

๋ผ๋งˆ์ธ๋ฑ์Šค

๋„๋ฉ”์ธ ๊ณ ์œ ์˜ ์ง€์‹์„ ์‚ฌ์šฉํ•˜์—ฌ ์ „๋ฌธ ์ง€์‹์ด ํ•„์š”ํ•œ ์งˆ์˜์‘๋‹ต ์ฑ—๋ด‡์„ ์‰ฝ๊ฒŒ ๋งŒ๋“ค ์ˆ˜ ์žˆ๋Š” ํ”„๋ ˆ์ž„์›Œํฌ
์งˆ๋ฌธ๊ณผ ๊ด€๋ จ๋œ ์ •๋ณด๋ฅผ ์™ธ๋ถ€์—์„œ ๊ฒ€์ƒ‰ํ•˜์—ฌ ๊ฐ€์ ธ์˜ค๊ณ , ๊ทธ ์ •๋ณด๋ฅผ ๋Œ€๊ทœ๋ชจ ์–ธ์–ด ๋ชจ๋ธ์— ํ”„๋กฌํ”„ํŠธ๋กœ ์ „๋‹ฌํ•˜์—ฌ ์™ธ๋ถ€ ๋ฐ์ดํ„ฐ๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ํ•œ ๋‹ต๋ณ€์„ ์ƒ์„ฑ(RAG, ๊ฒ€์ƒ‰ ์ฆ๊ฐ• ์ƒ์„ฑ)

๐Ÿ†š ๋ผ๋งˆ์ธ๋ฑ์Šค์™€ ๋žญ์ฒด์ธ
๋‘˜ ๋‹ค LLM ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์„ ๊ฐœ๋ฐœํ•˜๋Š” ํ”„๋ ˆ์ž„์›Œํฌ๋กœ,
๋ผ๋งˆ์ธ๋ฑ์Šค๋Š” ์™ธ๋ถ€ ๋ฐ์ดํ„ฐ ์—ฐ๋™ ๋“ฑ ๊ธฐ๋ณธ์ ์œผ๋กœ ํ•„์š”ํ•œ ๊ธฐ๋Šฅ์„ ์งง์€ ์ฝ”๋“œ๋กœ ๊ตฌํ˜„ ๊ฐ€๋Šฅ
๋žญ์ฒด์ธ์€ ๋…ผ๋ฌธ์—์„œ ๋ฐœํ‘œํ•˜๊ณ  ์–ผ๋งˆ ์ง€๋‚˜์ง€ ์•Š์€ ์ตœ์‹  ๊ธฐ๋Šฅ์„ ๋น ๋ฅด๊ฒŒ ํƒ‘์žฌ

๋ผ๋งˆ์ธ๋ฑ์Šค ํ•ต์‹ฌ ๋‹จ๊ณ„: ๋กœ๋”ฉ โ†’ ์ธ๋ฑ์‹ฑ โ†’ ์ €์žฅ โ†’ ์ฟผ๋ง โ†’ ํ‰๊ฐ€

  • ๋กœ๋”ฉ: ๋ฐ์ดํ„ฐ ์†Œ์Šค(ํ…์ŠคํŠธ ํŒŒ์ผ, PDF, ์›น ์‚ฌ์ดํŠธ, DB, API ๋“ฑ)์—์„œ ๋ฐ์ดํ„ฐ๋ฅผ ๊ฐ€์ ธ์˜ค๋Š” ๋‹จ๊ณ„
  • ์ธ๋ฑ์‹ฑ: ๋ฐ์ดํ„ฐ ์ฟผ๋ฆฌ๋ฅผ ๊ฐ€๋Šฅํ•˜๊ฒŒ ํ•˜๋Š” ๋ฐ์ดํ„ฐ ๊ตฌ์กฐ๋กœ ์ธ๋ฑ์Šค๋ฅผ ์ƒ์„ฑโ€จ(๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค์—์„œ ์ธ๋ฑ์Šค๋ž€ ์›ํ•˜๋Š” ์ •๋ณด๋ฅผ ํšจ์œจ์ ์œผ๋กœ ์ทจ๋“ํ•˜๋Š” ๋ฐ์ดํ„ฐ ๊ตฌ์กฐ.โ€จ๋ฌธ์„œ๋ฅผ ์ฒญํฌ๋กœ ๋ถ„ํ• ํ•˜๊ณ , ์ฒญํฌ ๋‹จ์œ„๋กœ ๋ฐ์ดํ„ฐ๋ฅผ ์ž„๋ฒ ๋”ฉ์œผ๋กœ ๋ณ€ํ™˜ํ•ด์„œ ์œ ์ง€)
  • ์ €์žฅ: ์ธ๋ฑ์Šค์™€ ๋‹ค๋ฅธ ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ์˜ ์Œ์„ ์ €์žฅ
  • ์ฟผ๋ง: ์ธ๋ฑ์Šค์— ๋Œ€ํ•œ ์ฟผ๋ฆฌ๋ฅผ ์‹คํ–‰ํ•˜๋Š” ๋‹จ๊ณ„โ€จ(์ฟผ๋ฆฌ๋ž€ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค์—์„œ ์ •๋ณด๋ฅผ ๊ฒ€์ƒ‰ํ•˜๊ฑฐ๋‚˜ ์กฐ์ž‘ํ•˜๋Š” ๋ฐ ์‚ฌ์šฉํ•˜๋Š” ๋ช…๋ น)
  • ํ‰๊ฐ€: ์ฟผ๋ฆฌ์— ๋Œ€ํ•œ ์‘๋‹ต์ด ์–ผ๋งˆ๋‚˜ ์ •ํ™•ํ•œ์ง€, ์‹ ์†ํ•œ์ง€ ๋“ฑ์„ ๊ฐ๊ด€์ ์œผ๋กœ ํ‰๊ฐ€ํ•˜๋Š” ๋‹จ๊ณ„
profile
โฐ Good things take time

0๊ฐœ์˜ ๋Œ“๊ธ€