목표
온프레미스 환경에서 OpenAI API 사용하기
시도
폐쇄망 환경이었고 OpenAI API를 사용하려면
API 요청이 프록시 주소로 가야했다.
폐쇄망, 기업망, 쿠버네티스 클러스터 등에서는 직접 외부 인터넷 접근을 막는 경우가 많다. 때문에 모든 외부 API 요청(나의 경우 OpenAI API)은 프록시 서버를 통해야했다.
[폐쇄망 서버 / Pod] → [사내 프록시 서버] → [인터넷(OpenAI API)]쿠버네티스를 사용할 경우 Pod 자체가 인터넷 접근이 보안상 허용되지 않는 경우가 많아 프록시가 필요하다.
이 때 SDK에서 환경변수로 HTTP_PROXY, HTTPS_PROXY를 설정해줘야한다.(나는 따로 설정해주지 않았지만 됐음 아마 서버담당자 분이 이미 설정을 해놓으신 것 같다.)
OpenAI LLM Docs 는 OpenAI 프록시를 설정에 관련된 공식 문서 페이지다.
그러나 이대로 하면 실행되지 않고
TypeError: Client.__init__() got an unexpected keyword argument 'proxies' 오류가 발생한다.
같은 OpenAI인데 왜 동작이 안되는지 이해가 가지 않지만 그러하다. (혹시 아시는 분은 알려주시길)
처음에는 httpx 라이브러리 문제인 줄 알았다.
httpx==0.27.2 버전만 호환이 가능하다.
하지만 내 경우에는 이미 해당 버전이어서 다른 이유를 찾아야했다.
해결방법
내 상황에서는 공식문서처럼 httpx를 사용할 필요도 없었다.
1) 배포된 프록시서버 주소를 환경변수에 등록해주고
openai_client = OpenAI(
api_key=openai_api_key,
base_url= openai_base_url
)2) api key와 proxy 서버를 base_url 파라미터로 등록해주면 된다.
그러면 아래같은 OpenAI의 API를 사용하는데 문제가 없다.
response = openai_client.responses.create(
model="gpt-4o-mini",
input=[
{
"role": "system",
"content": "시스템용",
},
{
"role": "user",
"content": "유저용",
},
],
)