사실 타노스당했다는 표현은 아주 곱게 말한 거다. 타노스는 그래도 반은 살려뒀으니까.
내 할당량은 거의 사라지다시피 했는데...
Bedrock 기반 챗봇 서비스를 준비하면서 가장 당혹스러웠던 문제. 프롬프트를 테스트하던 어느 날 갑자기 아래와 같은 에러가 발생했다:
첫 대화는 잘 이루어지는데 그 다음부터 메시지를 보내면 아래와 같이 Your request is too high 라는 에러만 나오고 더 이상 아무런 출력이 되지 않았다.
혹시 Alias에 문제가 있나? 싶어서 Bedrock 에서 새 alias를 만들어 테스트해봤지만 마찬가지의 메시지만 돌아왔다.
급하게 구글링해보니, 최근 aws에서 일부 사용자들이 자신의 InvokeModel request가 0이나 1로 크게 줄어들었다는 이야기들이 있었다. 줄어든 시기는 대략 11월로 보이는데, 하필이면 훈련소에 있어서 프로젝트를 잠시 중단한 때라 이 문제를 전혀 인지하지 못했다.
급하게 Service quotas에 들어가서 확인해 보니, 나도 그 중 하나의 케이스였다. Claude 3.5 Sonnet에 대한 온디맨드 호출량이 분당 1회로 줄어들어 있었다.
분당 1회의 응답이면 실사용은커녕 대화가 정상적으로 이루어지는지 테스트조차 어려운 상황. 심지어 토큰 사용량도 분당 4000으로 줄어들어 있었다.
이 할당량을 어떻게 복구시키지... 하고 살펴보니,
해당 할당량의 Adjustability란에서 알 수 있듯 증가 요청이 불가능한 항목이다.
그럼 대체 어떻게 해야 하지... 고민하다가 아래와 같은 편법을 통해 복원에 성공했다.
일단 할당량 증가가 가능한 할당량에 대한 증설 요청을 하였다. 나의 경우 Batch inference input file size를 늘려달라고 했다.
그럼 아래와 같이 고객지원팀에서 추가 정보를 요청하는 회신이 온다.
이때 다음과 같이 본론을 꺼내며 서비스 증설을 요청하였다. 이런 요청을 보낼 때는 다른 서비스로 갈아타겠다는 약간의 응석(?)을 부리는 게 좋다고 해서 짤막하게 덧붙였다.
아래에서 이야기하겠지만 여기서도 정확한 리전이나 서비스명을 언급하지 않아도 된다.
그럼 아래와 같이 요청사항 전달을 위한 상세한 정보를 요구한다.
이때 정확한 정보를 답변으로 제공해야 한다. 줄어든 Request per Minute 할당량과 Tokens per minute을 모두 복원해달라고 요청하였다.
어차피 새로 정보를 요청하는 김에, 연락을 주고받는 사이에 추가된 3.5 Sonnet V2 모델에 대한 할당량 복원을 요청하였다 (V1과 동일하게 할당량이 줄어들어 있었다)
참고로 TPM과 RPM이 각각 Tokens per minute, Requests per minute의 약자이다.
여담으로 당시 3.5 V2 모델은 버지니아 리전에서 지원되지 않았는데, 리전을 잘못 요청하였다. 따라서 CRIS(Cross Region Inference)로 사용하라는 연락을 한번 더 받았다.
이에 대한 답변을 전달하고 며칠이 지나자 기본 할당량으로 복귀되었다는 연락을 받았다. 특히 TPM은 10,000까지만 요청했음에도 기본 할당량을 꽉 채워서 복원되었다.
Service quotas에 접속해서도 정상적으로 할당량이 복구된 걸 알 수 있었다.
이날 이후로 할당량이 다시 줄거나 문제가 된 적은 없다.
이 할당량이 정확히 언제 왜 줄어들었는지도 아직까지 정보를 찾지 못했다. aws가 anthropic으로부터 충분한 Claude 사용량 계약을 따내지 못한 상황에서 오랫동안 해당 서비스를 사용하지 않은 계정들 위주로 할당량을 낮춘 게 아닐까 하는 의심을 해 보지만 알 길이 없다.
혹시 정확한 이유를 알거나, 동일한 문제를 좀 더 쉽고 정석적인 방법으로 해결한 적이 있다면 알려주길 바란다.
3줄요약
- 어느날 갑자기 Bedrock이 먹통이라면 할당량이 쪼그라들었을 가능성이 있다.
- 그렇다면 다른 그럴듯한 핑계로 고객지원을 요청하고,
- 케이스가 열리면 본론을 꺼내서 돌려달라고 투쟁하면 된다.
