privateGPT๐Ÿ” ์‚ฌ์šฉํ•ด๋ณด๊ธฐ

๋ฐ•ํ•˜์˜ยท2023๋…„ 7์›” 17์ผ
1

LLM

๋ชฉ๋ก ๋ณด๊ธฐ
3/4

PrivateGPT ๐Ÿ”

  • ๋ฐ์ดํ„ฐ ์œ ์ถœ์—†์ด gpt๋ฅผ ์‚ฌ์šฉํ•˜๋Š” ๋ฐฉ๋ฒ•์ž…๋‹ˆ๋‹ค.
  • ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๋Š” ๋ฐ์ดํ„ฐ ํ˜•ํƒœ๊ฐ€ ์•„๋ž˜์™€ ๊ฐ™์ด ์•„์ฃผ ๋‹ค์–‘ํ•œ ๊ฒƒ์„ ํ™•์ธํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

    .csv: CSV,
    .docx: Word Document,
    .doc: Word Document,
    .enex: EverNote,
    .eml: Email,
    .epub: EPub,
    .html: HTML File,
    .md: Markdown,
    .msg: Outlook Message,
    .odt: Open Document Text,
    .pdf: Portable Document Format (PDF),
    .pptx : PowerPoint Document,
    .ppt : PowerPoint Document,
    .txt: Text file (UTF-8),

  1. ์šฐ์„  ํ„ฐ๋ฏธ๋„์— git clone์„ ํ•ด์ค๋‹ˆ๋‹ค.
git clone https://github.com/imartinez/privateGPT.git
  1. ๊ทธ ๋‹ค์Œ์— ๊ธฐ๋ณธ path๋ฅผ ์„ค์ •ํ•ด์ฃผ์„ธ์š”.
cd privateGPT
  1. ํ•„์š”ํ•œ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋ฅผ ์„ค์น˜ํ•ด ์ค๋‹ˆ๋‹ค.
pip3 install -r requirements.txt
  1. ๋‹ค์Œ์€ ํ•„์š” llm๋ชจ๋ธ์„ ๋‹ค์šด๋ฐ›๊ณ , model์ด๋ผ๋Š” ์ƒˆ๋กœ์šด ํŒŒ์ผ์„ ์ƒ์„ฑํ•œ ํ›„ ๋‹ค์šด ๋ฐ›์€ ๋ชจ๋ธ์„ ๊ทธ ์•ˆ์— ๋„ฃ์–ด์ค๋‹ˆ๋‹ค.
wget https://gpt4all.io/models/ggml-gpt4all-j-v1.3-groovy.bin


5. ๊ทธ ๋‹ค์Œ example.env ํŒŒ์ผ ์ด๋ฆ„์„ .env๋กœ ๋ณ€๊ฒฝํ•ด ์ฃผ์„ธ์š” (.env ํŒŒ์ผ์—๋Š” ํ•„์š”ํ•œ ์ •๋ณด๋“ค์ด ๋“ค์–ด์žˆ์Šต๋‹ˆ๋‹ค.)

  1. source_documents ํด๋”์•ˆ์— ์žˆ๋Š” ํŒŒ์ผ๋“ค์„ ๋ถˆ๋Ÿฌ์™€ ingestํ•˜๋Š” ๊ณผ์ •์„ ๊ฑฐ์นฉ๋‹ˆ๋‹ค.
python ingest.py
  1. ๋งˆ์ง€๋ง‰์œผ๋กœ ์งˆ๋ฌธ์„ ํ•˜๊ธฐ์œ„ํ•ด ์•„๋ž˜์™€ ๊ฐ™์€ ๋ช…๋ น์„ ํ•ด์ฃผ๋ฉด ๋‹ต๋ณ€๊ณผ ์–ด๋””์„œ ์ฐพ์•˜๋Š”์ง€ ๋“ฑ์˜ ์ •๋ณด๋ฅผ ์–ป์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
python privateGPT.py

์ €๋Š” ์˜ˆ์ œ ํ…์ŠคํŠธ์— ๋Œ€ํ•œ ์งˆ๋ฌธ์ด ๋”ฑํžˆ ๋– ์˜ค๋ฅด์ง€ ์•Š์•„ ํ…์ŠคํŠธ ํŒŒ์ผ์˜ ์ œ๋ชฉ์„ ๋ฌผ์–ด๋ดค์Šต๋‹ˆ๋‹ค.
Question / Anwser / Source documents ์— ๋Œ€ํ•œ ๊ฒฐ๊ณผ๋ฅผ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค !

๋‹ค์Œ๋ฒˆ์—๋Š” ๋‹ค๋ฅธ ๋ฐ์ดํ„ฐ ํ˜•ํƒœ๋ฅผ ๊ฐ€์ง€๊ณ  ์‹คํ—˜ํ•ด๋ณด๋„๋ก ํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค.๐Ÿ˜บ

reference

profile
NLP ํŒŒ์ดํŒ…ํ•ด์•ผ์ง€!

2๊ฐœ์˜ ๋Œ“๊ธ€

comment-user-thumbnail
2023๋…„ 7์›” 18์ผ

์œ ์ตํ•œ ๊ธ€ ์ž˜ ๋ดค์Šต๋‹ˆ๋‹ค, ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค.

๋‹ต๊ธ€ ๋‹ฌ๊ธฐ
comment-user-thumbnail
2023๋…„ 7์›” 18์ผ

๊ธ€ ์ž˜ ๋ดค์Šต๋‹ˆ๋‹ค, ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค.

๋‹ต๊ธ€ ๋‹ฌ๊ธฐ