세션 제목: 데이터 인사이트의 혁신: AI 서비스 활용법
주요 발표 내용
- 문서 변환 및 생성형 AI 활용
- 문서를 기계가 읽을 수 있는 형태로 변환하고, 생성형 AI 파운데이션 모델로 변환하여 답변을 받을 수 있다.
- 기존 AI와 생성형 AI의 차이점:
- 기존 AI는 레이블링과 훈련을 거쳐 특정 task를 수행.
- 생성형 AI는 하나의 모델로 여러 task를 수행 가능.
- 기술 스택 및 도구
- 플랫폼: Amazon SageMaker, Kendra, Bedrock.
- 앱: ChatGPT, Alexa.
- 파운데이션 모델: 타이탄 (독점 모델, API를 통해 접근 가능), 오픈소스 모델 (자체 호스팅 및 관리 필요).
- RAG (검색 증강 생성) 접근 방식
- Amazon SageMaker와 Kendra:
- SageMaker는 모델 구축부터 배포까지 제공, 모델 선택 및 커스터마이징 가능.
- Kendra는 자연어 질의 이해 및 다양한 데이터 소스 접근 가능, 보안 유지.
- Bedrock과 벡터 데이터베이스:
- 벡터 데이터베이스는 검색에 최적화, 다양한 데이터 저장 가능.
- Bedrock은 서버리스로 API를 통해 파운데이션 모델에 접근 가능, 데이터 커스터마이징 및 보안 규정 준수 가능.
- Amazon SageMaker와 Kendra:
- 방법론
- 프롬프트 엔지니어링: 더 정확한 답변 유도.
- 파인 튜닝: 추가적인 pre-training.
- RAG: 외부 데이터 소스로 모델 보완.
- 데모 및 사례
- Demo 1: Amazon SageMaker를 통한 LLM 모델 접근
- 머신러닝 엔지니어를 위해 모델 구축부터 배포까지 제공.
- 사용자 정의 파인 튜닝 가능, 데이터 보안 유지.
- 질문 → 랭 체인 → kendra 인덱스 검색 → sagemaker를 사용해 답변
- Demo 2: Bedrock과 벡터 데이터베이스
- 서버리스로 비용 절감, 데이터 커스터마이징 가능.
- 벡터 데이터베이스를 사용한 RAG 접근 방식, 프롬프트 + 컨텍스트 + 질문으로 질의 응답.
- 벡터로 변환하기위핸 임베딩 모델이 필요하다. 문서를 분할하고 임베딩해 벡터를 만들어야 함.
- Demo 1: Amazon SageMaker를 통한 LLM 모델 접근
- 오케스트레이션
- SageMaker: 모델 구축, 배포, 사용자 정의 파인 튜닝.
- Kendra: 자연어 질의 이해, 다양한 데이터 소스 접근, 보안 유지.
- Bedrock: 여러 파운데이션 모델에 접근 가능, 데이터 커스터마이징 및 보안 규정 준수.
→ 모든 데이터는 aws계정에 안전하게 저장되어 보안이 철저하게 유지된다는 것이 포인트
핵심 요약
- 파운데이션 모델의 한계
- 올바른 사용 사례 선택
- 맞춤형 데이터의 중요성
서비스 정의
- Amazon SageMaker: 머신러닝 모델을 쉽게 구축, 훈련 및 배포할 수 있는 완전 관리형 서비스. 모델을 선택하고 사용자 정의 파인 튜닝을 제공하며, 모든 데이터는 AWS 계정에 안전하게 저장된다.
- Amazon Kendra: AI 기반 엔터프라이즈 검색 서비스로, 자연어 질의를 이해하고 다양한 데이터 소스에 접근하여 정확한 답변을 제공. 50개 이상의 데이터 커넥터를 통해 코딩 없이 다양한 소스에 접근 가능하며, 데이터는 전송 중과 저장 중에 암호화된다.
- Amazon Bedrock: 다양한 파운데이션 모델에 API를 통해 접근할 수 있는 서버리스 서비스. 데이터 커스터마이징 및 보안 규정 준수가 가능하며, 벡터 데이터베이스를 통해 검색 증강 생성(RAG) 기능을 제공한다.
해당 내용은 chat gpt-4o로 정리해보았습니다.
얌얌