Amazon Bedrock
Amazon Bedrock은 완전관리형 서비스로 생성형 AI 애플리케이션을 신속하게 구축 및 확장할 수 있는 파운데이션 모델(FM)과 일련의 도구를 제공한다.
사용자의 데이터로 FM을 개인적으로 사용자 정의할 수 있다.
Amazon, AI21 Labs, Anthropic, Cohere, Meta, Stability AI에서 FM을 선택하여 자신의 사용 사례에 맞는 FM을 찾을 수 있다.
여기에는 Amazon Titan, Jurassic-2, Claude, Command, Llama 2, Stable Diffusion 등 다양한 형식(텍스트, 임베딩, 다중 모달)을 지원하는 FM이 포함된다.
단일 API를 사용하여 사용자 정의 FM과 Amazon 및 기타 AI 기업에서 제공하는 FM에 안전하게 액세스할 수 있다.
Amazon Bedrock을 사용하면 모든 콘텐츠가 관련 API 호출이 이루어진 AWS 리전 내에서 처리된다. 데이터는 AWS 리전 경계를 넘지 않는다.
데이터 보안
- 프롬프트, 모델 응답, 사용자 정의 FM 등 모든 데이터는 API 호출이 처리되는 리전에 저장됨
- TLS 1.2로 전송 중 암호화되며, AWS KMS 키를 사용해 저장
프라이빗 네트워크 연결
- Amazon Bedrock은 Virtual Private Cloud(VPC)에서 구성되지 않는 완전관리형 서비스
- AWS PrivateLink를 사용해 인터넷을 거치지 않고 온프레미스 네트워크와 FM 간 연결 가능
- 기본 FM 모델의 별도 복사본을 생성하여 사용자 정의 FM 훈련
- 사용자 정의 FM은 AWS KMS 키로 암호화되어 보호됨
액세스 제어
- IAM을 활용하여 특정 FM과 Amazon Bedrock 콘솔, 추론 서비스 접근 권한 관리
모니터링 및 로깅
- Amazon CloudWatch로 사용량 지표 추적 및 대시보드 구축 가능
- AWS CloudTrail을 활용해 API 작업 모니터링 및 문제 해결 가능
RAG(Retrieval Augmented Generation) 및 기술 자료 통합
- 조직별 데이터를 FM에 통합하여 컨텍스트 기반 응답 제공
- Amazon Bedrock용 에이전트를 활용해 FM을 다시 훈련하지 않고 데이터 소스 연결 가능
- Amazon S3 등의 데이터 소스를 활용해 Amazon Titan Embeddings로 벡터 변환 가능
- 벡터 데이터는 Amazon OpenSearch Serverless, Pinecone, Redis Enterprise Cloud 등에 저장 가능
벡터 임베딩을 활용한 검색 최적화
- Amazon Titan Embeddings FM을 활용해 조직 데이터의 벡터 생성 가능
- 문장, 단어, 이미지, 오디오, 비디오 데이터를 수치화하여 관계 이해 가능
- 검색된 정보는 출처 속성과 함께 제공되어 투명성 강화 및 할루시네이션 최소화
할루시네이션(Hallucination)은 AI 모델이 실제 데이터에 근거하지 않은 잘못된 또는 비현실적인 정보를 생성하는 현상
비용 및 처리량
- Amazon Bedrock에서는 Amazon Titan 및 서드 파티 모델을 사용할 수 있음
- FM에서 추론을 실행하면 입력 및 출력 토큰의 양을 기준으로 비용이 청구됨
- 토큰은 텍스트의 의미 있는 단위로, 단어, 문구 또는 개별 문자일 수 있음
- 현재 미리보기 버전으로 처리량(throughput) 프로비저닝 옵션 제공
- 프로비저닝된 처리량의 경우, 요금은 시간을 기준으로 책정됨
Bedrock 요금 더 알아보기
사용 사례
- 텍스트 생성
- 챗봇
- 검색
- 텍스트 요약
- 이미지 생성
- 개인화
FM은 다음 유형의 추론 파라미터를 지원한다.
Randomness and Diversity
-
Temperature: 모델이 단어를 선택할 확률을 조정하는 값
0에 가까울수록 확률이 높은 단어 선택
높을수록 확률이 낮은 단어도 선택 가능 -
Top P: 확률 합계를 기준으로 선택할 단어 범위를 결정
1.0 미만으로 설정하면 가능성이 낮은 단어 제외
Length
-
Response Length: 생성된 응답에서 최대 토큰 수를 설정
-
Stop Sequences: 특정 문자 시퀀스가 나오면 토큰 생성을 중단. 모델마다 다양한 스톱 시퀀스 및 최대 시퀀스 길이 지원.
출처: Amazon
