파인튜닝: 특정 응용프로그램에 맞게 언어모델을 사용자 정의하는 강력한 기술
퓨샷: 몇가지 예제만 프롬프트로 주어져도 종종 사용자가 수행하려는 작업을 이해하고 타당한 완성을 생성한다.
1 파인튜닝 비용
파인튜닝의 비용은 프롬프트의 토큰단위로 계산된다.
| Model | Training | Input usage | Output usage |
|---|---|---|---|
| babbage-002 | $0.0004 / 1K tokens | $0.0016 / 1K tokens | $0.0016 / 1K tokens |
| davinci-002 | $0.0060 / 1K tokens | $0.0120 / 1K tokens | $0.0120 / 1K tokens |
| GPT-3.5 Turbo | $0.0080 / 1K tokens | $0.0120 / 1K tokens | $0.0160 / 1K tokens |
GPT-3.5 Turbo모델을 기준으로 만약 내가 학습시키고자 하는 데이터가 400개의 토큰을 가지고 있고 그 데이터가 30000개라면,
1) 훈련에만 쓰이는 비용 = 30000 x 400(토큰) / 1000 x 0.008 = 96$
-> 약 10만원
2) 한번 사용에 쓰이는 비용(input, output 둘다 400 토큰이라고 가정) = 400 / 1000 * 0.028(0.012 + 0.016) = 0.0112$
-> 약 15원
따라서 서비스 적용시 비용문제에 대해서도 고려해볼 필요성이 있어보인다.
밑의 사이트에서 나의 prompt가 어느정토 토큰을 가지고 있는지 확인 할 수 있다.
Hi