임베딩 및 생성 모델 토큰 수 추정치 테스트

테스트 내용

• 데이터셋: private
• 모델1: BGE-m3 (임베딩)
• 활용예시 (Worst Case 기준 - 최저 감소 시)

토큰 수 512 제한 시 약 775자 까지 임베딩 가능
토큰 수 1024 제한 시 약 1549자 까지 임베딩 가능
500자 임베딩을 위해 토큰 수 331 필요
1000자 임베딩을 위해 토큰 수 661 필요

Metric	텍스트 길이	토큰 수	감소율
Mean	448	248	-44.9%
Std	375	211	-3.9%
Min	91	49	-52.7%
Q1	214	116	-47.9%
Q2	326	174	-45.3%
Q3	556	320	-44.2%
Max	1988	1134	-33.9%

• 모델2: Llama-3.3-70B-Instruct (생성)
• 활용예시 (Worst Case 기준 - 최저 감소 시)

토큰 수 512 제한 시 약 659자 까지 생성 가능
토큰 수 1024 제한 시 약 1318자 까지 생성 가능
500자 생성을 위해 토큰 수 389 필요
1000자 생성을 위해 토큰 수 777 필요

Metric	텍스트 길이	토큰 수	감소율
Mean	448	297	-32.6%
Std	375	243	-3.7%
Min	91	62	-41.0%
Q1	214	156	-35.4%
Q2	326	217	-32.5%
Q3	556	364	-30.3%
Max	1988	1319	-22.3%