에러해결 : Fine-tune failed. Fine-tune will exceed billing hard limit

Jenny·2023년 8월 21일

1. Fine-tune failed. Fine-tune will exceed billing hard limit

open ai api를 사용할 때 모델을 fine-tuning하는 과정에서 이 에러가 계속 발생했다.

구글링을 해보니, 결제 금액 한도를 낮게 책정해놔서 그럴 수 있다는 말이 대다수였다. 그래서 결제금액을 30$까지 올렸다.

하지만 이것은 문제가 아니었다. (근데 진짜 작게 설정해놓으면 그것이 문제가 될 수도 있습니다.) 긴 삽질 끝에 설마.. 나의 데이터가 문제일까? 생각했다.
맞다.

여기서 나는 아래 사항을 위반했다.

Ensure that the prompt + completion doesn’t exceed 2048 tokens, including the separator (prompt + completion가 구분 기호를 포함하여 2048 토큰을 초과하지 않는지 확인하십시오.)

나의 데이터의 길이가 너무 길었던 것이다. '수'가 아니라 데이터 하나하나의 길이를 의미

해결방법

더 짧은 길이의 데이터셋으로 교체한다. (나는 성능을 고려하지 않았기에 이와 같은 방법으로 해결했는데, 긴 길이의 데이터셋 학습은 현재로선 불가능한지 궁금하다.)

< 이전 >
{"prompt": "저는 저의 경력에 자부심을 가지고 있습니다. 그러나 제 상사는 항상 저의 일을 둘러싸고 불만을 토로하십니다. 물론 저도 틀린 점이 있었겠지만 그 분의 치밀한 규율에 불편함을 느낍니다. 이런 때 어떻게 대처하면 좋을까요?", "completion": "사우님은 자신의 경력에 대해 자부심을 가지고 있으나 상사분께서는 항상 사우님의 일에 대해 불만을 토로하신다고 합니다. 사우님께서는 상사분의 조언과 지적이 자신감을 불러일으키기도 하지만 힘든 감정을 불러일으키기도 한다는 건가요? 그런 상황에서 어떻게 대처할 수 있을까요?\n사우님, 상사분과의 갈등은 정상적인 직장생활에서 생기는 일이라고 생각합니다. 누구나 완벽하지는 않기 때문에 때로는 상사분께서 말씀하신 것처럼 지적이나 조언을 듣고 개선하는 것이 필요합니다.\n하지만 반대로 상사분께서 지나치게 비판적이거나 지적을 하셨을 때는 사우님의 자존감을 흔들 수 있습니다."}

< 이후 >
{"prompt": "날 몇시간동안이나 기다리게했어", "completion": "기다리는 동안 많은 생각이 들었겠네요."}

하니까 드디어 파인튜닝이 시작되었다.