[Google I/O 2023] Mediapipe Features

2023년 05월 10일에 진행한 Google I/O 2023 컨퍼런스에서 Mediapipe 관련 내용을 정리한 자료입니다.

참고 : https://www.youtube.com/watch?v=yOP_FY2KTm8

개요

• Mediapipe : 다양한 플렛폼에서 제공 가능한 on-device ML 솔루션

Legacy Mediapipe Solution

• Legacy Mediapipe Solution는 2023년 3월 1일자로 지원을 종료
• 신규 Mediapipe Solution으로 통합되어 제공
  (기존 Legacy Solution 및 Pre-Built Library는 계속 제공)
  

Available Mediapipe Solution

• Android, Web, Python 지원 (iOS 지원 예정)

• Mediapipe Studio : 웹에서 쉽게 Mediapipe를 테스트 해볼 수 있는 플랫폼

• Mediapipe Model Maker : 사용자 데이터를 커스터마이징하여 사용가능하게 함
  

• https://developers.google.com/mediapipe/solutions/guide#available_solutions

Mediapipe Solution Future Plan (On-device Generative AI)

• Face stylization : 얼굴 이미지 스타일 변환
  

• Text-to-image generation : 이미지 생성
  

• Text generation : 텍스트 생성
  

• Audio Embedding : 음성 데이터 내 정보 유사성 분석 (임베딩)
  

Quick Guide - Visual Blocks for ML

• 웹 솔루션으로 제공하여 코드 없이 그래프 편집기를 통해 ML 파이프라인을 생성 가능한 시각적 프로그래밍 프레임워크

• ML 모델, 사용자 입력, 시각화 등의 ML 구성 요소를 연결하여 워크플로우의 프로토타입을 빠르게 생성/테스트 가능
  

References

• https://developers.google.com/mediapipe/solutions/studio
• https://blog.tensorflow.org/2023/05/ai-and-machine-learning-io-recap.html
• https://visualblocks.withgoogle.com/#/