요즘 Chatbot이 굉장히 화제입니다
20년 전에는 웹페이지를 만들면 "개발 좀 했네" 라는 소리를 하였고
4년 전에는 블록체인 등의 기능을 넣어 개발을 하면 잘했다라는 소리를 하였으며
요즘에는 "Chatbot"이 없으면 개발을 최신 트랜드를 반영하지 못했네 라는 얘기를 들을 수 있습니다
그만큼 Chatbot은 매우 인기가 많아지며 그만큼 여러분야에 적절히 사용될 수 있습니다
Amazon의 Bedrock을 사용하여 한국어 Chatbot을 아주 쉽게 구현해보는 시간을 가져보겠습니다
Bedrock을 사용하면 다양한 파운데이션 모델을 통해 API를 만들 수 있으며 Custom models를 통해 직접 모델을 만들고 그 모델을 통해 API를 구축할 수 있습니다
파운데이션 모델이란 ?
대규모 데이터 세트를 기반으로 훈련된 파운데이션 모델(FM)은 데이터 사이언티스트가 기계 학습(ML)에 접근하는 방식을 변화시킨 대규모 딥 러닝 신경망입니다.
AWS 파운데이션모델이란
Bedrock을 사용하기 전 먼저 Model access 권한을 얻어야 합니다
bedrock을 검색하여 들어간 뒤 아래와 같이 권한을 얻어줍니다
권한을 얻으실 때에는 manage model access를 통해 권한을 얻을 수 있습니다
여기서 Anthropic 의 Claude 모델의 경우User case details required 를 보실텐데 이 말은 Use case를 제출해야만 승인이 난다는 의미로 Use case를 작성해주시면 승인받을 수 있습니다
Chat 모드에서는 특정 모델과 채팅하는 기능으로 사용 가능
Text 모드에서는 그 모델로 다음 문장을 자동완성하는 기능으로 사용 가능
Image 에서는 이미지 생성기능으로 사용 가능
먼저 아래에서 Chat으로 테스트를 진행해보도록 하겠습니다
질문으로 "what is your real name ? are you becrock?" 를 물어보았더니 아래와 같이 답변을 하였습니다
오른쪽의 Temperature 나 Top P 와 같은 파라미터를 조절해 가면서 API를 만들기 전 테스트를 해볼 수 있습니다
또한 오른쪽 상단의 Compare mode를 통해 다른 모델과 비교하며 테스트를 진행할 수 있습니다
위와 같이 실험을 통해 더욱 적절한 모델을 만들고자하는 서비스에 적용할 수 있습니다
Text에서는 Hello, how are you today ? 와 같이 질문하니 그 다음 문장을 자연스럽게 생성해주었습니다
또한 learn more 을 통해 아래와 같이 상세하게 API 호출에 대해 확인이 가능합니다
마지막으로 image도 아래와 같이 쉽게 생성할 수 있습니다
API Request도 아래와 같이 확인이 가능합니다
참고
