OpenAI사의 LLM인 GPT 3.5를 이용한 서비스를 만들게 됐습니다. 서비스를 만들기 위해서는 어떤 것부터 고민해야할까요? 깔끔하고 수려한 아키텍쳐? 환상적이고 기가막힌 UI/UX 디자인? 저는 서비스에서 가장 비용이 많이 발생할 것으로 예상되는 LLM의 과금 비용이 어느 정도인지를 예측하는 게 제일 첫번째 순서라는 생각을 했습니다.
저는 LLM에게 복잡한 추론과 어려운 수학 연산을 요구하지 않을 겁니다. 저는 RAG를 통해 Context를 제공하면서 질문에 대답을 잘하도록 요구할 것이기 때문에 LLM은 많이 똑똑하지 않아도 됩니다. 임베딩하는 데이터의 정확도가 중요하고, LLM은 적당히 똑똑하면 됩니다. 적당히 똑똑하면서 비용이 많이 많이 저렴한 LLM이 필요한 상황입니다.
저는 다양한 LLM을 많이 써본 적도 없고 그렇기 때문에 각기 장단점 등을 자세히 알지 못합니다. 그러나, ChatGPT는 요긴하게 쓰고 있어서 친숙한데, GPT 3.5 모델이 적당히 똑똑하면서 많이 저렴하다는 것을 주워듣고 이것저것 성능 비교, 비용 절감에 대해 깊게 고민하지 않고 그냥 GPT 3.5를 쓰기로 결심했습니다. 인터페이스를 잘 구축해서, LLM이야 더 나은게 나와서 교체할 필요가 있다면, 쉽게 교체할 수 있도록 시스템을 구성하면 그만이겠다 싶기도 합니다.
서론이 너무 길었습니다. 그래서, 이 서비스를 만들게 되면 한달에 어느 정도 비용이 나온다고 판단해볼 수 있을까요? 챗봇 서비스이기 때문에 유저가 이 챗봇과 얼마나 대화를 할지를 짐작해보는 것으로부터 비용 계산이 시작됩니다.
이 서비스를 이용하는 유저는 대략 1,000명으로 가정했고, 주 2~3회 정도 서비스를 이용하면서 대략 30분 정도 챗봇과 대화를 할 것이라고 계산을 했습니다. LLM은 물어보는 내용을 토큰이라는 단위로 세어서 과금을 하고, LLM이 대답하는 내용도 토큰이라는 단위로 세어서 과금을 합니다. 토큰의 갯수는 대략 단어의 갯수와 비슷하다고 생각하면 이해가 편합니다.
30분 동안 발생할 토큰의 수를 계산하기 위해서는 1분 동안 사람이 몇개의 단어를 평균적으로 사용하는지를 계산해봐야합니다. ChatGPT-4o에게 물어보니, 200단어 정도를 얘기한다고 하고, 토큰으로 환산하면 대략 400토큰이 발생할 수 있다고 합니다.
1,000명의 유저가 주 2~3회 정도 서비스를 이용하면서 대략 30분 정도 챗봇과 대화를 하게 되면 한달 동안 발생하게 될 토큰의 수는 1,000명 * (주 3회 * 4주 : 한달) * 30분 * 400토큰 = 144,000,000의 토큰이 발생할 것으로 추정해볼 수 있습니다. 대답한 것도 토큰으로 계산해서 과금이 된다고 했으니, 질문과 대답이 비슷하다고 넉잡아서 계산하면, 총 288,000,000개의 토큰에 의한 비용을 계산하면 될 것 같습니다.
(출처 : https://openai.com/api/pricing/)
위의 이미지는 우리가 사용하려고 하는 모델, gpt-3.5-turbo-0125의 과금에 대한 내용입니다. 우리는 input tokens와 output tokens를 동일하게 가져갔으니, (input tokens + output tokens) * $2.00 / 1M 로 계산해보면 됩니다. 288,000,000 * $2.00 / 1M = $576. 금일 환율로 계산하면, 약 80만원입니다.
우리가 만약에 특정 업무를 하기 위해서 사람을 고용해야하는 상황인데, 이를 지금 만들려고 하는 GenAI를 활용한 서비스를 통해 해결할 수 있다면, 한달 최저시급으로 인력을 고용하는 것보다는 80만원이 훨씬 싸게 먹힌다는 판단을 내려볼 수 있습니다. 과연 80만원만 나올지에 따라서 차라리 사람을 고용하는 게 맞다고 판단하게 될지는 모르는 일이지만 그건 일단 실제로 서비스를 운영하고 난 뒤에 판가름이 날 것입니다.
일단 저는 운영하려고 하는 서비스의 비용을 추정해봤을 때, 합리적이라는 판단이 들었습니다. 만약 서비스를 개발할 때, 비용에 대해서 회사를 대상으로 설득이 필요하다면 위와 같은 방식으로 추론하여 합리적인지를 따져보면 좋겠습니다.
