Background
- 내가 OTT 플랫폼 회사에 다니면서 가장 많이 다루고 있는 데이터는 아마 콘텐츠 영상 시청 로그가 아닐까 싶다.
- 그런데 시청 로그는 어떻게 설계 해야하고, 어떻게 처리해서, 어디에 적재 해야하는지에 대한 고민이 사라지지 않는다.
- 다양한 사람들에게서 나오는 다양한 의견 합치 되지 않는 협의 속에 나는 항상 혼란만 더 쌓이게 되는 것 같았다.
- 주어진 상황 속에 최선은 있어도 최고의 방법이 정해져 있지 않기 때문이 아닐까 생각했다.
- 이번에는 내가 속해 있는 회사의 데이터 파이프라인과는 상관 없이 나 혼자 리서치하고 설계 하였다면 어떻게 구성할 지 고민하는 시간을 갖고 싶어 해당 게시글에 정리해 보기로 한다.
- 넷플릭스, 유튜브, 타 OTT 플랫폼 기업에서는 시청로그 또는 실시간 파이프라인을 어떻게 구성 하였는지 조사하고
- 벤치마킹 전 & 후 의 내 생각을 정리해보자.
참고 자료
- 넷플릭스 데이터 파이프라인 소개글(2016): https://netflixtechblog.com/evolution-of-the-netflix-data-pipeline-da246ca36905
- 넷플릭스가 초당 최대 8백만 건의 이벤트를 처리하는 방법: https://www.slideshare.net/slideshow/bdt318-how-netflix-handles-up-to-8-million-events-per-second/53675156
- 넷플릭스 데이터 재처리 데이터 파이프라인 소개글(2022): https://netflixtechblog.com/data-reprocessing-pipeline-in-asset-management-platform-netflix-46fe225c35c9
- 넷플릭스가 데이터 품질을 유지하는 방법: https://medium.com/bigeye/how-netflix-maintains-data-quality-3a77a95f7aad
- 넷플릭스 Github 오픈소스 센터: https://netflix.github.io/
- 넷플릭스 데이터 엔지니어링 기술 토크 - 데이터 프로세싱 패턴(유튜브, 2023): https://www.youtube.com/watch?v=vuyjK2TFZNk
- 넷플릭스 스튜디오에서 카프카를 어떻게 사용하고 있을까?: https://www.confluent.io/blog/how-kafka-is-used-by-netflix/
- 넷플릭스가 실시간 데이터 인프라를 구축하는 방법: https://venturebeat.com/data-infrastructure/how-netflix-built-its-real-time-data-infrastructure/
- 넷플릭스 시스템 디자인: https://medium.com/@narengowda/netflix-system-design-dbec30fede8d
- 넷플릭스 아키텍처(2023): https://medium.com/@saddy.devs/netflix-architecture-72bb8572a102
- 넷플릭스 아키텍처2(2023): https://kasun-r-weerasinghe.medium.com/architecture-of-netflix-1c38257f1f4a
- 시스템 설계 Netflix | 완전한 아키텍처: https://www.geeksforgeeks.org/system-design-netflix-a-complete-architecture/
안녕하세요. 데이터 엔지니어 김재민 입니다.