Generative AI Studio 사용해보기

Vertex AI

Google Cloud는 AI 및 머신러닝 배경이 있든 없든 프로젝트에서 Generative AI를 사용하는 데 도움이 되는 몇 가지 사용하기 쉬운 도구들을 제공해준다.

그 중 Vertex AI는 머신러닝 모델을 빌드, 배포, 관리하는 데 도움되는 Google Cloud의 엔드 투 엔드 ML개발 플랫폼이다.

Vertex AI의 Generative AI Studio를 사용하여 코드가 없거나 Low-code로 Generative AI 모델의 프로토타입을 빠르게 만들 수 있다.

Generative AI Studio

• Language : 작업을 수행하고 언어 모델을 조정하기 위한 프롬프트 디자인 가능
• Vision : 프롬프트를 기반으로 이미지를 생성하고 이미지를 추가로 편집 가능
• Speech : 음성에서 텍스트를 생성 혹은 그 반대의 경우도 가능

Generative AI Studio의 Language를 사용하여 간단하 프롬프트 디자인을 해볼 것이다.

프롬프트 디자인

우선, 프롬프트란?
모델에 제공하는 입력 텍스트.

질문 및 지침과 같은 원하는 텍스트를 모델에 입력할 수 있다.
모델은 프롬프트를 구성한 방법에 따라 응답을 제공하므로 질문에 따라 응답이 달라진다.
모델에서 원하는 응답을 다시 얻기 위해 최상의 입력 텍스트를 파악하고 디자인하는 프로세스를 프롬프트 디자인이라고 하며 종종 많은 실험이 필요.

종류

• Zero-shot 프롬프팅 : 특정 작업에 대한 추가 데이터가 LLM에 제공되지 않는 방법. 즉, 작업을 설명하는 프롬프트만 제공하는 방법.
• One-shot 프롬프팅 : 작업의 단일 예시를 LLM에 제공하는 방법.
• Few-shot 프롬프팅 : 몇 가지의 예시를 LLM에 제공하는 방법.

Vertex AI의 Generative AI에는 FREE-FORM 및 STRUCTURED모드 라는 것이 있다. 프롬프트를 디자인할 때 사용할 수 있는 두 가지 모드이다.

• FREE-FORM : 프롬프트를 디자인하기 위한 자유롭고 쉬운 접근 방식을 제공.
  추가 예제가 없는 소규모의 실험적인 프롬프트에 적합. Zero-shot 프롬프팅을 위해 아래에서 이것을 사용해볼 것이다.
• STRUCTURED : 신속한 디자인에 사용하기 쉬운 템플릿 접근 방식을 제공.
  컨텍스트 및 여러 예제를 프롬프트에 추가할 수 있음.

FREE-FORM

Vertex AI의 Generative AI Studio로 접속 후 텍스트 프롬프트 클릭

자유 형식(FREE-FORM)선택.
프롬프트에 "What is prompt gallery?" 입력 후 제출
아래와 같은 답을 얻을 수 있다.

이제 여기서 우측의 Parameter 값을 수정해볼 것이다.

토큰 한도 : 1로 수정
한 개의 토큰만이 나왔다.

temperature : 0.5로 수정

temperature : 1.0로 수정

temperature을 높일수록 점점 예측 가능한 답변이 아닌 약간 특이한 답변을 내놓는 걸 확인할 수 있다.

STRUCTURED

구조화된 형식(STRUCTURED)선택.

Context는 대화의 컨셉을 지정해준다고 생각하면 된다.
예를 들어 아래와 같은 사진처럼이 아니라 "답변을 하지 말고 질문의 키워드만 추출해줘"라고 Context를 지정해주면 어떤 프롬프트를 넣어도 답변은 그 질문에서 키워드만 추출해준다.

프롬프트에 "the color of the sky is"라고 입력 후 제출

답변은 INPUT의 문장을 완성시키는 단어가 아닌 문장으로 답을 줬다.
이를 개선하기 위해 예시를 하나 추가해줄 것이다. 즉, One-shot 프롬프팅 수행.

blue로 답변이 나온 것 확인.

이를 활용해 감정 분석을 해볼 것이다.
긍정 부정에 관한 몇 가지 예시를 넣어주는 Few-shot 프롬프팅 방법을 통해 수행.

아래와 같이 예시 입력

입력	출력
A well-made and entertaining film	positive
I fell asleep after 10 minutes	negative
The movie was ok	neutral

Test에 "It was a time well spent!"라고 입력 -> positive라고 올바른 답을 내놓은 것을 확인할 수 있다.

디자인한 프롬프트는 저장하여 내 프롬프트에 따로 보관이 가능하다.