LLMOps Masterclass 2025 - Generative AI - MLOps - AIOps

콘텐츠 생성: 이미지, 텍스트, 음악 등 창작물 자동 생성개인화 경험: 추천 시스템, 맞춤형 UI 제공헬스케어: 신약 개발(분자 구조 시뮬레이션), 의료 영상 분석 → 더 정확하고 빠른 진단언어 처리: 챗봇, 번역, 음성 인식 → 맥락 이해 대화 가능기타 분야: 자율주

정의: 새로운 콘텐츠(텍스트, 이미지, 음악 등)를 자율적으로 생성하는 AI.기존 AI가 분석·분류에 집중했다면, Generative AI는 창의성과 상상력을 발휘하여 새로운 결과물을 만들어낼 수 있음.핵심 목표:자율적 콘텐츠 생성: 텍스트, 이미지, 음악, 연구 아이

창의성과 독창성: 이미지, 텍스트, 음악, 영상 등 새로운 콘텐츠를 생성할 수 있어 사람들을 매료시킴.산업 전반의 활용성: 예술, 엔터테인먼트, 디자인, 헬스케어, 게임 등 다양한 분야에 적용 가능.현실감 있는 결과물: GPT, StyleGAN 같은 모델이 인간이 만든

LLM(Large Language Model): 인간과 유사한 텍스트를 이해하고 생성하는 AI 모델.주요 특징수십억 개 이상의 매개변수(parameters)를 학습하여 언어의 복잡한 패턴을 포착.맥락을 고려한 일관성 있는 응답 생성 가능.대표 사례: OpenAI GPT

본 섹션은 ChatGPT를 활용하여 AI Assistant(챗봇)를 구축하는 실습 프로젝트입니다.목표: 사용자 맞춤형 데이터 기반 AI 챗봇 구현.활용 모델: OpenAI의 GPT 계열 모델 (예: GPT-4 Turbo).접근 방식: OpenAI Playground와

FastAPI는 Python 기반의 현대적이고 고성능의 웹 프레임워크로, API 개발에 널리 사용됨 .Python 타입 힌트를 활용해 간결하고 생산성 높은 개발이 가능.주요 HTTP 메서드:GET: 서버에서 데이터 조회POST: 데이터 생성 및 제출PUT: 리소스 업데

Docker: 애플리케이션을 컨테이너로 패키징, 배포, 실행할 수 있는 오픈소스 플랫폼 .컨테이너(Container): 코드, 런타임, 라이브러리, 시스템 설정 등 실행에 필요한 모든 것을 포함하는 독립적이고 경량 실행 단위.핵심 장점:환경 간 일관성 확보 (개발 →

Kubernetes(K8s): 컨테이너화된 클라우드 네이티브 마이크로서비스 애플리케이션을 오케스트레이션하는 시스템 .주요 기능:애플리케이션 배포 및 관리자동 확장(Auto Scaling)자체 복구(Self-healing)무중단 롤링 업데이트(Rolling Update)

Pod = Kubernetes에서 가장 작은 배포 단위, 컨테이너 실행의 래퍼(wrapper)보통 1 Pod = 1 컨테이너 (nginx 등). 경우에 따라 다중 컨테이너도 가능 (Service mesh, log scraper 등) .스케일링 방법 → Pod 수를 늘리

수동 스케일링: kubectl apply -f deployment.yaml을 통해 replicas 수를 변경.예: 5 → 10 (스케일 업), 5 → 2 (스케일 다운).검증 방법:kubectl get pods → 실제 실행 중인 Pod 수 확인kubectl get d

기존 Docker 기반 배포에서 Kubernetes 오케스트레이션으로 확장.주요 목적: 보안 강화(Secret 관리) + 확장성 있는 배포.\*민감정보(API Key)\*\*는 코드에 직접 포함하지 않고 Kubernetes Secret으로 관리.생성 명령어:main.p

GitHub Actions는 CI/CD(Continuous Integration & Continuous Delivery) 플랫폼으로, 빌드·테스트·배포 파이프라인을 자동화.특징단순히 DevOps에 국한되지 않고, PR 생성, Issue 작성, 라벨 추가 등 다양한 이벤

\*Google Kubernetes Engine(GKE)\*\*는 구글 클라우드에서 관리되는 쿠버네티스 서비스.이번 섹션의 목적: ChatGPT 애플리케이션을 GKE에 배포하는 것.이를 위해 다음 단계가 필요함:Google Cloud 계정 생성Google Cloud C

목표: ChatGPT 애플리케이션을 Google Kubernetes Engine(GKE)에 자동 배포.도구: GitHub Actions 기반 CI/CD.3단계 접근법GitHub Action Secrets 설정워크플로우 파일(actions.yaml) 검증CI/CD 파이프

문제 배경연구자들은 Transformer 기반 모델을 PyTorch, TensorFlow 등으로 구현 → 모델 구조/가중치 저장.실무자는 동일 모델을 쓰려면 아키텍처 재구현, 가중치 로드, 전처리, 커스텀 로스 함수/학습 알고리즘까지 모두 다시 구현해야 함.프레임워크

Hugging Face Transformers 라이브러리의 pipeline 객체를 활용해 텍스트 생성 모델을 사용.기본 모델: gpt2 (OpenAI community/gpt2).프로세스pipeline("text-generation")으로 모델 초기화.사용자 입력 텍스

WhyLabs: ML/LLM Observability 플랫폼문제 탐지: 데이터 드리프트, 품질 저하, 편향, 환각, PII 유출, 독성, 프롬프트 공격아키텍처:Telemetry Agent → 데이터 수집플랫폼(UI) → 시각화, 분석, 알림 (PagerDuty 등 연계

목표: Python 기반 Flask 애플리케이션을 GitHub Actions를 활용하여 CI/CD 파이프라인을 구축하고, AWS EC2에 자동 배포.핵심 흐름:Flask 앱 개발 → 2) Docker 컨테이너화 → 3) GitHub Actions 워크플로우 → 4) E