매우 간단하지만 기업들은 처음에 Azure Open AI 리소스를 생성하는법을 모르는 경우가 생각보다 많았습니다, 물론 대부분 외주업체에게 맡기겠지만 그래도 스스로 다루는 기업이 있을 수도 있으니 가이드 해보려고 합니다.
사전에 먼저 Azure 구독을 생성하더라도 Azure Open AI의 리소스를 생성하기 위해서는 미리 아래 링크에 신청서를 제출해야 합니다.
OpenAI에 대한 사용 신청 링크 : https://aka.ms/oai/access
보통 1~3일 사이로 사용을 승인하는 메일이 오는데 그때부터 AI 리소스를 생성할 수 있습니다.
포탈에 Azure OpenAI를 검색하고 리소스 생성을 누르시면 이렇게 창이 뜰텐데 원하시는 설정을 만드신후 생성을 눌러주시면 간단하게 AI 리소스가 생성이됩니다.
주의사항
현재 가격은 Standard S0이 유일합니다
리소스를 생성하더라도 비용이 발생되지 않습니다.
이제 생성한 AI 리소스에 들어가보시면 저렇게 크게 4가지 보기가 나옵니다. 왼쪽부터
1. 매트릭값
2. 키값, 엔드포인트
3, Playground
4. OpenAI Studio
1,2번은 말그대로 개발단계에서 필요한 모니터링과, api를 의미하는 것이고 4번같은 경우는 Playground를 새롭게 변형시킨 포탈입니다. 4번같은 경우는 아직 preview단계이기 때문에 다음에 다뤄보도록 하고 저희는 3번인 Playground에 들어가서 활용을 해보겠습니다.
플레이 그라운드에 들어가시면 저렇게 포탈이 하나 나오는데 저희는 아직 배포한 AI 모델이 없으니 먼저 모델의 배포를 위해 왼쪽의 관리탭에서 배포를 눌러줍니다.
새 배포 만들기를 클릭 후 모델선택, 모델 버전, 배포이름을 작성후 만들기를 해주시면 이제부터 저희는 Azure상에서 Open AI를 사용하실 수 있게됩니다.
Azure에서 사용가능한 Open AI 모델:https://learn.microsoft.com/ko-kr/azure/ai-services/openai/concepts/models
배포가 완료되었다면 채팅세션으로 넘어가서 테스트가 가능합니다.
1. 좌측에 보면 설정부분이 있는데 이곳에서는 프롬프팅, 데이터 인덱싱이 가능합니다. (예를들어 You are an AI assistant that helps people find information.라는 프롬프트를 입력해준다면 Open AI는 자신이 AI assistant라는것을 인식하고 답변을 해주게 됩니다)
2. 우측에 구성을 보시면 배포 모델을 선정하실 수 있고, 세션 설정에서 각 새 API 요청에 포함할 이전 메시지 수를 선택할 수 있습니다. (예를들어 이 숫자를 10으로 설정하면 사용자 쿼리 5개와 시스템 응답 5개가 포함됩니다.)
우측 구성의 매개 변수입니다.
최대 응답(Max Tokens): 이는 모델이 생성할 수 있는 최대 토큰(단어나 구)의 수를 정하는 매개변수입니다. 토큰의 수가 많을수록 더 긴 응답을 생성할 수 있지만, 처리 시간도 더 길어지고 비용도 증가할 수 있습니다.
온도(Temperature): 이는 모델의 창의성 또는 무작위성을 조절하는 매개변수입니다. 높은 온도 값은 모델이 더 창의적이고 예측하기 어려운 텍스트를 생성하도록 합니다. 반면, 낮은 온도는 보다 예측 가능하고 일관된 텍스트를 생성하게 합니다.
상위 P(Top P): 이는 'nucleus sampling'이라는 방법에 사용되는 매개변수로, 특정 확률 이상의 토큰만을 선택하여 응답을 생성하는 방식입니다. 이를 통해 모델이 너무 일반적이거나 무작위적인 응답을 피하도록 도와줍니다.
시퀸스 중지(Stop Sequences): 이는 모델이 특정 단어나 구를 생성하면 응답을 중지하도록 설정하는 매개변수입니다. 예를 들어, 모델에게 문단을 생성하게 하고, "END"라는 단어를 만나면 그곳에서 멈추게 할 수 있습니다.
빈도 패널티(Frequency Penalty): 이는 모델이 반복되는 단어나 구를 생성하는 것을 억제하는 매개변수입니다. 높은 빈도 패널티 값은 모델이 동일한 단어나 구를 반복해서 사용하는 것을 줄여줍니다.
현재 상태 패널티(Presence Penalty): 이는 모델이 이미 언급한 내용을 다시 언급하는 것을 억제하는 매개변수입니다. 이를 통해 모델이 새로운 주제나 개념에 대해 더 자주 언급하도록 유도할 수 있습니다.
이런식으로 활용한다면 개발 없이 Playground 상에서 모델들을 테스트 해볼 수 있습니다.
Playground는 말그대로 테스트를 해볼 수있는 공간이므로 실제로 구축을 하기 위해서는 api를 이용한 개발이 필요합니다.
데이터를 추가해서 RAG를 생성하는 방법은 다음시간에 알아보도록 하겠습니다.
