요즘 가장 핫한 LLM은 뭘까?
대중적으로는 ChatGPT를 따라갈 수 없겠지만,
적어도 개발자들 사이에선 구글의 Gemini 2.5 pro라고 생각한다.
그리고 가장 최근 Gemini팀에서 배포한
Gemini 2.5 Pro Preview 05-06은 커뮤니티에서
코딩 능력으로 빠르게 핫해진 모델이다.
Google AI Studio란?
그럼 구글의 AI Studio는 무엇일까?
AI Studio는 Gemini모델을 기반으로 Prototype을 빠르게 구현할 수 있게 도와주는 웹 기반 SW 개발 플랫폼이다.
복잡한 코딩 대신, 자연어와 다양한 형식의 파일(이미지, 동영상, pdf, .md 등)을 통해 강력한 AI 모델을 기반으로 원하는 결과물을 최대한 빠르게 만들어내는 것에 의의가 있다.
구글은 이에 더해 프롬프트 엔지니어링 가이드를 따로 제공해
어떻게 하면 최적의 프롬프트를 작성할 수 있을지를 개발자에게 알려주고 있다.
현재는 Gemini 2.5 Pro, Gemini 2.5 Flash 등 다양한 모델을 지원하고 있다.
Vertex AI Studio
기존의 Vertex AI Studio와는 다른 별개의 제품이다.
Vertex AI Studio는 기업용 솔루션에 초점을 맞췄다면,
AI Studio는 개인용으로, 더 많은 상용자들이 쉽게 접근할 수 있고, 혁신적인 아이디어를 빠르게 상용화할 수 있게 돕는 것을 목적으로 한다.
Vertex AI Studio에서 가능했던 fine-tuning, MLOps를 지원하지 않는 것이 가장 큰 차이라고 볼 수 있다.
Temperature
우측 상단 Temperature는
값이 높아질수록, 모델의 창의성이 향상되고
값이 낮아질수록, 모델의 결과가 더욱 Predictable 한 scope내에서 생성된다.
1. Structured output
- 모델의 출력 결과를 미리 정해진 형식(ex. JSON 스키마) 에 맞춰 출력하도록 지정
2. Code execution
- 모델이 생성한 코드를 직접 실행하고, 그 결과를 다음 응답에 반영
3. Function calling
- 외부 API, 사전 정의된 사용자 지정 함수를 호출 가능
Edit을 통해 어떤 함수에 어떤 파라미터를 넣고 호출할 지 정할 수 있다.
4. Grounding with Google Search
- 구글 검색을 통해 모델의 응답에 대한 사실성을 높인다.
RAG을 거쳐서 답변을 출력한다고 생각하면 된다.
5. Safe settings
- 유해, 부적절 콘텐츠 생성을 사전에 제어한다.
6. Add stop sequence
- 모델이 특정 문자열을 생성하면, 응답을 즉시 멈춘다.
- 특정 패턴의 반복을 막아 토큰 생성을 감소시킬 때 유용
7. Output length
- 모델의 응답 길이에 대한 최대값(토큰)을 제한한다.
8. Top P
- 모델이 다음 단어를 선택할 때, 확률이 높은 단어들 중
누적 확률이 특정 값(P)에 도달할 때까지만 고려하는 샘플링 기법 - 값이 1에 가까울수록 더 다양한 단어를 고려하고, 다양한 응답을 생성할 가능성이 높아진다.
- 값이 낮을수록 더 예측가능하고, 일관된 응답을 생성한다.
GCP(Google Cloud Platform)의 API 키 연결
Google AI Studio에서는 Google Cloud Console을 통해 생성한
Google Cloud 프로젝트의 API Key를 연동해 사용할 수 있다.
사용 토큰에 비례해 금액을 청구하는 방식으로,
아직 GCP에서 프로젝트를 진행하거나, API 키를 연동해보지 않아 자세히는 모르겠다.
해당 방식을 통해 개발자는 본인의 Cloud Project에
자신이 작성한 프롬프트에 기반해 설정된 모델을 실제 애플리케이션 및 서비스에 통합할 수 있다.
예를 들어 챗봇을 구현하거나, 맞춤형 학습도우미, 기업의 내부 업무 지원용 AI 비서를 빠르게 구현할 수 있는 것이다.
마치며
다음 포스팅엔, Google AI Studio를 이용해 빠르게 서비스를 개발해보는 과정을 남겨보겠다.
대략 일주일 정도 사용해보면서 Gemini을 어떻게 더 잘 활용할 지 고민해봐야겠다.
