AWS 생성형 AI 온라인 세미나

Siyun·2025년 3월 6일
aws

AWS

목록 보기
24/37

25년 3월 6일에 개최된 AWS 생성형AI 온라인 세미나에 참석하여 정리한 내용입니다.

생성형 AI 마인드셋

  1. 왜 생성형 AI를 도입해야 하는지 고민하기
  2. 문제점 파악을 위해 팀과의 협업하기
  3. 데이터를 기반한 의사결정하기
  4. 예상 결과에 대한 엄격한 평가 방법 개발하기
    추상적인 목표보다 통화대기 20%줄이기와 같이 구체적인 목표 정하기

3가지 생성형 AI 서비스 계층

  • 대규모 언어 모델 개발자: 가속화 컴퓨팅 CPU,GPU, SageMaKer

  • 생성형 AI 앱 개발자 : 파운데이션 모델을 이용한 애플리케이션 개발 도구 (Amazon Bedrock)

  • 일반 개발자 및 비 개발자 : 파운데이션 모델을 활용한 애플리케이션 (Amazon Q)

Bedrock 사용자중 97%가 Bedrock에서 두 개 이상의 모델을 사용하고 있다고 함.

Amazon Nova는 이미지 비디오 텍스트를 지원하는 멀티모달 모델이다.

Bedrock Marketplace를 통해 100개 이상의 LLM 모델 제공사의 다양한 모델을 구독 후 쉽게 배포 가능하다.

프롬프트 엔지니어링 + 검색 증강생성(RAG), 벡터 데이터베이스 +
파운데이션 모델 = 앱 구현 배포

규율을 통해 자율성을 높여야 한다.

생성형 AI에서 규율은 혁신을 안전하고 효율적으로 성장시킬 수 있는 구조화된 환경을 만드는 것이다.

  1. 초기부터 보안을 고려하자. (최근에 규제가 심한 분야에서도 AI를 도입하려함)
  2. 책임있는 AI를 도입하자. (할루시네이션 줄이기)
  3. 데이터 보안, 품질, 윤리사항에 대해 데이터 자산을 보호하기위한 거버넌스를 구축해야한다.

생성형 AI에 특화된 이노베이션 센터를 통해서도 고객지원이 가능하다.

SageMaker에서는 자동화된 방식으로 데이터 처리를 하기 위해 Data Wrangler, Ground Truth를 제공함.

Bedrock의 책임감 있는 AI기능
Guardrails : 피해야할 주제 선정 및 응답 감지. 유해 콘텐츠 85%차단, 환각 응답 75% 필터링 제공

Model Evaluation : 자동 평가 및 인적 검토 워크플로우. 모델 성능 검토 기능.

Automatic Reasoning: 수학 기법으로 응답 정확성을 검증한다.

Guardrail Multimodal Toxicity Detection: 모든 멀티모달 AI애플리케이션에 일관성있는 지원 제공

차별화 요소로서 데이터 기반을 구축해야 한다.

  1. 높은 품질의 맞춤화된 데이터를 확보
  2. 데이터 보안 및 거버넌스 체계를 구축
  3. 데이터 통합 및 확장성을 고려(유연한 아키텍처 구현 필요)

  • 데이터 차별화를 잘 이뤄낸 사례:
    Rocek Mortgage : 모놀리식 데이터 레거시 전략으로 데이터 수집에만 두 달 걸림.
    DynamoDB로 데이터 수집 시간을 2시간으로 줄임.
    지금까지 37억개의 의사결정을 내리고 있음.

  • Amazon Sagemaker에서 주피터 노트북, SQL 편집기, IDE도 통합적으로 제공함

민첩하거나 뒤쳐지거나

  1. 기업 내 조직간 동의를 위한 탑-다운 접근법
  2. 기업 전체를 포괄하는 데이터 전략 수립
  3. 작게 시작하고 실패하는 실험 문화
    그냥 가만히 있는 것은 뒤쳐지는 것

  • Amazon Q Business
    사용대상 : 일반 직원, 비지니스 분석과

  • Amazon Q Developer
    사용대상 : 개발자, 데이터 과학자
    콘솔, IDE AWS문서사이트 등 AWS를 사용하는 모든 곳에서 활용

유닛테스트, 문서화, 코드리뷰 기능도 추가됨
코드 수락률이 37%임.

사내 코드 및 문서를 임베딩 모델에 저장하고 있다가 증강방식으로 코드를 추천해준다. 사내 데이터는 AWS의 벡터 데이터에 안전하게 저장된다.

이렇게 하면 코드 채택비율이 50%로 높아진다.

기존의 레거시 애플리케이션 관리는?
1. 운영중인 프로젝트에 대한 마이그레이션
2. 자바와 닷넷 등 엔터프라이즈 레거시 앱의 현대화
3. 보안 및 성능향상, 기술부채 제거

  • Java8/11 코드를 17로 자동 변환 기능을 제공함.
  • VMware 워크로드의 대규모 맵 현대화 기능도 제공함.

파인튜닝이 아니더라도 고급 프롬프트 엔지니어링과 RAG 아키텍처만으로도 충분히 좋은 생성형 AI앱을 만들 수 있다.

Amazon Nova

현재 Micro(텍스트), Lite(멀티모달), Pro(고성능 멀티모달) 모델들은 GA(바로 사용 가능)이며 한국어를 지원한다. 200개 이상의 언어를 지원한다.

  • 모든 모델은 파인튜닝하여 사용 가능
  • 동급 모델 대비 Micro 7%,Lite 20%,Pro 36% 이상 저렴
  • LLM의 에이전트 역할 수행에서 탁월한 성능을 보여줌
  • 긴 컨텍스트 분석이 필요한 경우 최적의 선택지
    (긴문서 요약, 동영상 내용 파악에서 우수한 성능)

Canvas, Reel

  • Canvas: 텍스트 또는 이미지를 입력으로 받아 고품질 이미지 생성 및 편집을 위한 다양한 기능 제공.
    최대 2K x 2K 이미지 제공.
    곧 파인튜닝 기능 출시

  • Reel: 이미지 입력이나 자연어 프롬프트를 통한 간단한 비디오 제작 가능
    재생 시간은 6초.
    추후 최대 2분 길이의 비디오, 스토리 기반 비디오 생성을 지원할 예정임.

Amzon Bedrock 신규기능

  • 고객이 파인튜닝한 모델의 다양한 성능 측면을 평가하는 LLM as a Judge
  • Model distillation : 크고 복잡한 모델(선생님)을 작은 모델(학생)로 학습시킴
  • Intelligent prompt routing: 프롬프트를 효율적으로 라우팅하기 위한 단일 엔드포인트 제공. 자동으로 다양한 모델 중 하나를 선택해 응답 품질과 비용 최적화
  • Latency-optimized inference options
    : 특정 모델에 대해 더 빠른 응답성. 다른 주요 클라우드 제공 업체보다 더 빠르게 제공. Claude 3.5 Haiku 모델 및 Meta의 Llama 3.1 405B와 70B 모델 지원
  • Structured data retrieva: 자연어로 데이터베이스와 데이터 웨어하우스를 쿼리. Amazon SageMaker Lakehouse, Redshift 및 S3
    테이블에 저장된 데이터 사용.
  • GraphRAG: 지식 그래프를 사용해 RAG 애플리케이션 성능향상.데이터 소스 간의 관계를 연결하는 지식 그래프 생성.
  • Multimodal data processing: 텍스트와 이미지 데이터를 분석하여 인사이트를 도출하고 활용. 텍스트 및 시각적 데이터에서 도출된 질문에
    대한 답변 검색 및 생성
  • Data automation: 다양한 png, pdf 등의 멀티모달 콘텐츠에서 구조화된 데이터를 추출, 변환 및 생성. 요구사항과 비즈니스 규칙에 따른 맞춤형 출력 생성
  • Multimodaltoxicity detection: 이미지 콘텐츠에 대한 구성 가능한 안전장치
  • Build and orchestrate agents: 복잡한 다단계 작업 처리 위해 다중 에이전트를 쉽게 구축 , 배포 및 조율

Amazon SageMaker

데이터, 분석, AI의 모든 것을 한곳에서 할 수 있음

Unified Studio, Lakehouse가 새로 출시됨.

Amazon SageMaker AI신규 기능

  • Amazon SageMaker HyperPod
    flexible training plans: HyperPod을 통한 대규모 분산 학습 계획을 더욱 유연하게 수립할 수 있다.
  • Amazon SageMaker HyperPod
    task governance: 자동 리소스 관리와 우선순위
    기반 작업 스케줄링을 통해 AI 개발의 효율성과 비용 최적화
  • AI apps from partners now
    available in Amazon SageMaker: AWS 파트너의 인기 있는 AI 앱을 AWS 내 사용하여 모델 개발 및 배포 가속화

📍 SageMaker HyperPod 레시피 GitHub 저장소:
https://github.com/aws/sagemaker-hyperpod-recipes

생성형 AI 프로젝트의 ROI를 높이기

생성형 AI 유스케이스 적합성 평가

  1. Team: 효과적으로 만들 수 있는 사람들이 있는지
  2. Feasibility: 알고리즘 대신 생성형 AI로 문제를 해결할 수 있는지
  3. Budget: 충분한 예산이 있는지
  4. ROI: 비용 회수를 어떻게 하는지
  5. Timeline: 어느 정도 기간의 프로젝트인지
  6. Risks: 무엇이 위험에 처해 있는지
  7. Data: 데이터가 충분한지

생성형 AI ROI = 비즈니스 가치/ (직접비용+간접비용)

  • 비즈니스 가치: 직원의 생산성과 창의성 향상, 비즈니스 프로세스 최적화, 고객 경험 향상
  • 직접 비용: 데이터 스토리지 비용, 데이터 클리닝, 모델 비용, 파인튜닝 비용
  • 간접 비용: 변화 관리, 보안 및 리스크, 엔지니어 인재, 사용자 트레이닝

생성형 AI 모델이 빠르게 진화하고 저렴해지고 있음. ROI는 유스케이스의 초기 단계부터 모든 과정에서 지속적으로 확인하며 개선되어야만 한다.

예시: 생성형 AI 마케팅 프로젝트 ROI 계산

캐주얼 레스토랑에서 1:1 맞춤형 이메일 마케팅에 대한 ROI 계산

비즈니스 가치와 비용을 구할 수 있어야 한다.
비즈니스 가치는 마케팅을 통한 매출 증가로 측정
보낸 이메일의 오픈율, 실제 가게에 방문하는 전환율을 구해 매출 예측 가능

생성형 AI를 활용한 고객 리뷰 분석
정확도, 시간, 비용으로 분석 가능
소요 시간은 사람1명 기준 약 100배차이, 비용은 최저 시급 기준 약 20배 차이

직접 비용은 3가지 디자인 선택에 의해 영향받음

  1. 기반 모델의 선택: 가장 성능이 좋은 모델이라고 적합한 것은 아님.
  2. 유스 케이스의 볼륨과 워크로드의 변동성
  3. 모델의 커스터마이제이션 및 튜닝 방식: 프롬프트를 길게 입력하면 매번 요청마다 함께 처리되는 것에 주의

개인화된 광고 배포를 위한 직접 비용

  • 데이터 스토리지 및 인프라:
    • 얼마나 많은 데이터를 저장해야 하는지?
    • 실시간 추론을 지원하기 위해 어떤 데이터 인프라가 필요한지?
  • 데이터 클리닝 및 검증:
    • 어떤 비즈니스 로직이 적용되어야 하는지?
    • 정제가 필요한 데이터의 범위는 어떻게 되는지?
  • 파운데이션 모델 선택:
    • 어느 정도의 정확도가 필요한지?
    • 어느 정도의 지연시간이 허용되는지?
    • 예상되는 토큰 사용량은 얼마인지?
  • 엔지니어 인재:
    • 얼마나 많은 기술적 전문성이 필요한가?
    • 운영을 위해 어떤 리소스가 필요한가?
    • 필요한 유지보수 단계는 무엇인가?
  • 변화 관리:
    • 새로운 성과 지표와 추적이 필요한가?
    • 확장 도입을 장려하기 위해 어떻게 할 수 있을까?
    • 현재의 역할과 책임이 어떻게 변화할까?
  • 보안 및 리스크:
    • 사용되는 데이터는 얼마나 민감한가?
    • 준수해야 할 규정들이 있나?
    • 고려해야 할 다른 리스크는 무엇인가?
  • 트레이닝 및 역량강화:
    • 현재 조직의 기술 이해도는 어느 정도인가?
    • 외부 리소스나 전문 서비스가 필요한가?

생성형 AI 프로젝트의ROI 달성 실패 요인

비즈니스 가치 달성 실패의 요인들

  • 잠재적 가치 과대 평가 : PoC와 달리 프로덕션 과정에서 비지니스적 기술적 챌린지를 마주함. 현실적인 RoI측정 필요
  • 가치 실현 속도 과대 평가 : 조직 준비도, 데이터 준비도에 영향을 받음 -> 사내 해커톤같은 트레이닝 프로그램 설계

비용 부족/초과의 요인들

  • 유스케이스의 과도한 엔지니어링 : 원하는 유스 케이스에 대한 인프라의 과잉 구축 또는 과잉 설계 -> 최소한의 실행 가능한 인프라로 시작
  • 변화 관리에 대한 과소 평가 : 직원들의 저항을 고려하지 않고 개선된 워크플로우 툴 구현 -> 지속적인 변화 관리 계획 수립 필요

롯데멤버스의 Amazon Bedrock 이용기

Amazon Bedrock을 이용한 고객세그먼트 분석 및 트렌드 예측 서비스 구축기

롯데멤버스의 도전 과제
1. 금융 규제 준수
2. 생성형 AI활용
3. 시장 변화 대응

망분리 규제 개선로드맵
1. 추진 배경
망분리로 인한 업무 비효율, 금융경쟁력 저하, 선진 보안체계 도입에 소홀해지면서 금융권 보안 발전 저해
2. 목표
금융권 생성형 AI 활용을 허용함으로써 클라우드 이용 범위 대폭 확대, 연구/개발 환경 적극 개선
3. 기대효과
중/장기적으로 금융 보안 법/체계를 전면 개편하고, 금융 회사들이 자체적인 역량 강화를 통해 보안 리스크에 대비

규제 샌드박스를 통해 일정 조건(기간, 장소, 규모 제한)하에서 시장에 우선 출시 해 기술로 인한 안전성 문제를 미리 검증함.

Amazon Bedrock의 동작
1. 주요 FM 중에서 선택하기
2. 내 데이터로 맞춤 설정하기(데이터로 비공개적으로 FM을 파인튜닝)
3. 데이터소스 연결하기 (RAG을 위한 데이터소스와 FM연결)
4. 필요한 작업 실행하기(에이전트 구성)

Bedrock에는 리전 별 Quota(할당량)이 있다.
default Quota value를 초과할 수가 없다.
할당량보다 더 많은 요청이 들어오면 오류가 반환된다.
이를 해결하기 위해 Cross-region Inference를 사용.
해당 리전의 할당량 초과 시 다른 리전에 요청한다.

Amazon Q 를 활용한 정형 및 비정형 데이터의 통합적 인사이트 분석

Q Business : 비정형 데이터 분석

  • 생성형 AI 기반 어시스턴스.
  • 기업에서 가질 수 있는 다양한 데이터 저장소를 바탕으로 질문에 답변 ,요약 제공, 컨텐츠 생성, - 필요한 작업 수행

Q in QuickSight : 정형 데이터 분석

  • 조직 내 필요한 모든 사람에게 BI 서비스 제공
  • 머신 러닝 활용, 자연어 질의를 통해 자동화된 증강 분석이 가능
  • 서버리스 아키텍처, 사용량 기반의 가격 책정 가능
  • 아마존 Q 인덱싱 된 데이터로 비정형데이터까지 인사이트 제공
  • 사용자가 개별적으로 보유하고 있는 문서 추가 가능

데이터 연동 시너지 얻기

정형데이터 -> 어떤 일이 발생했는지 파악
비정형데이터 -> 해당 일이 발생한 맥락 파악

Q in QuickSight의 QnA 기능으로 질문하면 정형데이터와 비정형데이터를 모두 참고해 답변 제공

Quicksight Data Stories의 기능으로 프롬프트를 입력하면 Q Businesss의 데이터도 가져와 전문적인 보고서를 작성해준다.

Q business 실습

1. Q business 콘솔 > 어플리케이션 선택 > 데이터 소스 추가

보유한 데이터 소스를 추가할 수 있다.

2. Q business 어플리케이션의 Deployed URL을 통해 접속

프롬프트를 입력해 질문을 할 수 있다.
Q business 데이터를 먼저 검색해 답변한다.
QuickSight data를 검색도 곧바로 검색하여 내용이 있다면 답변한다.
출처 또한 알려준다.

profile
Siyun
공부 기록
이전 포스트

AWS 서버리스 (Lambda, DynamoDB, API Gateway)

다음 포스트

AWS 서버리스 솔루션 아키텍처

0개의 댓글