출처 : https://www.youtube.com/watch?v=tQUtBR3K1TI&list=PLQIgLu3Wf-q_Ne8vv-ZXuJ4mztHJaQb_v&index=9

사전 학습 모델을 사용하면 임베딩 학습이 따로 필요 없다.
Why? 대기업에서 잘 학습한 모델을 사용

Retrieval

Vector Store

• Pure vector databases : CRUD 기능 제공
• Vector libraries : vector 유사도 비교하기 용이

모델 종류

• 로컬 임베딩 모델 중에는 ko 붙은게 한국어 변환 잘해줌

기타 필기

tiktoken : OpenAi gpt model이 사용하는 토큰 방식.
len, tiktoken_len으로 각각 찍어보면 길이가 다른것을 볼 수 있음
cl100k_base : gpt token에 쓰이는 encoding

Split을 통해 token 제한 issue를 해결할 수 있음.
그래서 gpt의 token 제한은? 따로 만들어줘야 할 필요가 있음
128,000

limit: 128k

Input Tokens: $5 per 1 million tokens (or $0.005 per 1,000 tokens).

Output Tokens: $15 per 1 million tokens (or $0.015 per 1,000 tokens).

사전학습 모델 : 임베딩 학습이 따로 필요없음.

유료 embedding model : Openai - ada, HuggingFace model

temperature이 낮을 수록 일관성 있는 답변이 나옴.

Chain의 종류

Stuff doucuments

한 번에 4개가 들어가기 때문에 api 1번 호출로 답을 얻을 수 있다.

Map_reduce

map : 각각을 요약하는 과정. (api 호출 4 + 1 = 5 번)
reduce : 최종적으로 요약하는 과정

Refine

for 좋은 품질의 답변
중간 답변이 들어가기 때문에 더 높은 품질의 답변을 얻을 수 있다.
잘 사용하지 않는 이유 : 하나씩 답변이 들어가기 때문에 Map_reduce처럼 병렬적이지 못하다. -> 시간이 굉장히 오래 걸림 (신뢰도 높은 답변을 원할 때 사용)

Map re-rank

사용자 질문과 text chunk를 넣으면 answer 뿐 만 아니라 score도 받게됨.
if) 4개가 input이면 가장 score가 높은 것이 output으로 결정

TODO

KEYWORD로 시를 검색할 수 있게끔 (S3를 검색할 수 있게끔)

키워드기반으로 시를 조회해야함 .
시를 S3에서 조회해서 RAG를 통해서 시, KEYWORD 백터화 시켜서 vectorstore
vector db 필요할 수도 있음
모든 시를 vector화 시켜야함.