LLM ( Large Language Model )
-
Token : AI가 읽고 쓰는 최소 단위
- 영어 : 단어 1개
- 한글 : 형태소 기준
-
다음 토큰 예상 생성 방식으로 문장을 만듬
-
확률적 토큰 선택
-
유사도 : 앞의 문장과 맥락상 가장 유사도가 높은 토큰을 선택
- 유클리디안 방식 : 피타고라스 정의 -> 가까운 토큰 선택
- 코사인 유사도 방식 : (-1 ~ 1) -> 1에 가까울수록 맥락상 유사, 0은 유사하지 않음, -1에 가까울수록 반대 의미
-
temperature (온도) : 0 ~ 1 사이의 값,
- 낮은 값(0.1~0.3) -> 정확한 답변
- 높은 값(0.8 ~ 1) -> 다양한 답변, 창의적 답변
-
Top-K : Top-K - 10 -> 가장 확률이 높은 10개 중에서 선택
-
Top-P : Top-P - 10% -> 가장 확률이 높은 10% 중에서 선택
-
-
SIFT
- Stop : 멈춤
- Investigation : 출처 확인
- Find : 교차 검증
- Trace : 원본 맥락 확인
