Token

token은 chunk보다 더 작은 단위이다.
chunk : 의미 있는 문장이나 구절 단위
token : 더 작은 단위 (단어나 문자 단위)

chunk와 token의 차이점

chunk의 경우 의미 있는 단어나 구절 단위로 쪼개져서 출력되는 반면
token은 한 글자씩 출력되는 것이 특징이다.

여기서 stream은 for chunk in과 떨어질 수 없는 것처럼
token은 flsuh와 쓰지 않으면 아무 의미가 없다.

flush란

flush는 '즉시 출력'을 의미한다.

기본적으로 파이썬은 출력을 버퍼에 모았다가 한 번에 처리하는데
flush = True를 쓰면 버퍼링 없이 즉시 화면에 출력한다.

실제 출력 모습 :

token의 경우 한 글자씩 출력되는데 flush = False로 설정한다면
버퍼에 모였다가 출력물이 모두 완성되면 한 번에 출력되게 되므로
token을 쓰는 의미가 없어지게 된다

flush = True와 False

flush 설정을 False로 하게 된다면 아무 의미가 없는 코드가 된다.

stream과 for chunk in이 꼭 붙어있어야하는 것처럼
token도 for token in의 형식과 flush를 꼭 같이 사용해야 한다.

여기서 token은 함수가 아니고 변수이다.

chunk와 token 비교 분석

공통점 :

차이점 :

특징과 활용법

주의사항

chunk

token