스터디 개요
8월 27일 일요일부터 모두의연구소 아이펠에서 E2E 서비스를 공부하기 위해서 TFX 스터디를 개설했습니다. 이번 스터디의 경우 크게 3가지로 구성할 예정입니다.
- 살아 움직이는 머신러닝 파이프라인 설계 빠르게 보기
- TFX 프로젝트 레포를 참고해서 E2E로 구현하기
- 나만의 E2E 서비스를 만들어서 배포하기
- 이전까지 공부했던 내용을 기반으로 위키독스 만들기
오늘 정리할 포스팅은 1번으로 진행하고 있는 내용입니다. 살아 움직이는 머신러닝 파이프라인 설계는 송호연님께서 번역한 책이며 유일하게 TensorFlow Extended를 다루고 있는 도서입니다. 해당 책의 경우 TensorFlow Extended 1.2.0을 활용하고 있지만 2023년 9월 기준 현재 TensorFlow Extended는 1.13.0이기 때문에 실제 코드는 잘 작동하지 않지만 컴포넌트에 대한 이해도를 높이기 충분하다는 생각이 들어 먼저 이 책을 선정했다.
스터디에서 배웠던 내용들
이번 스터디의 경우 아이펠 방학을 활용해서 1번 task를 빠르게 끝냈다.
첫번째 날에는 TFServing부터 Apache AirFlow를 활용해서 파이프라인 오케스트레이션에 대해 보았습니다.
두번쨰 날에는 Kubeflow 파이프라인 오케스트레이션을 활용하는 방법부터 개인정보 보호, 피드백 루프까지 배웠습니다.
그중에서 이번 스터디를 진행하면서 가장 인상깊은 내용은 GCP + Kubeflow 파이프라인 + TFX 였습니다.
Kubeflow 파이프라인이라고 하면 일반적으로 쿠버네티스를 사용해야 하기 때문에 2개의 개념 모두 알고 있어야 합니다.
그러나 GCP 그중에서 Vertex AI를 사용한다면 Kubeflow 파이프라인을 쉽게 만들어서 사용할 수 있습니다.
또한 인스턴스로 전부 작동시킬 수 있고 결과값 또한 ML 메타데이터스토어로 들어가며 텐서보드 또한 활용할 수 있다는 점이 매력적인 포인트였습니다.
또한 쿠버네티스를 몰라도 Kubeflow 파이프라인을 사용할 수 있어 쓰기 편한 것도 장점이었습니다.
회고
이번 스터디를 진행하면서 느낀건 TensorFlow Extended가 생각보다 더 강력하며 특히 GCP와 함께 사용한다면 폭발력있다는 걸 깨달았습니다. 뿐만 아니라 방학 주간에 나와서 공부한 TFX 프로젝트 스터디 팀원들이 대견했고 한번도 빼지지 않고 나온 사람들 또한 대단하다고 생각합니다.
이번주 일요일의 경우 쉬고 다음주부터 본격적으로 TensorFlow Extended를 뜯어보면서 실제로 어떻게 작동하는지 볼 예정인데 상당히 기대가 됩니다!
앞으로도 화이팅!
