🎬1억 명이 사용하는 TikTok형 영상 피드를 어떻게 만들까?

— 시스템 설계부터 실시간 데이터 처리까지 기술적으로 파헤치기

System Design: Building TikTok-Style Video Feed for 100 Million Users

👀 영상에 빠져드는 우리, 그 뒤엔?

하루 2시간 이상 우리는 영상 콘텐츠를 소비합니다.

TikTok, YouTube Shorts, Instagram 릴스에 빠진 경험, 누구나 한 번쯤은 있죠.

하지만 이 영상 피드 뒤에서는 어떤 기술이 숨어있을까요?

• 수천만 명에게 개인화된 피드를 어떻게 빠르게 제공할까?
• 어떻게 영상 전환이 부드럽고 끊김 없이 일어날까?
• 사용자 반응은 어떻게 실시간으로 반영될까?

이 글에서는 TikTok 스타일 영상 피드 시스템을 직접 설계하면서,

기능 요구사항, 확장성, 실시간 데이터 처리 전략까지 모두 살펴봅니다.

---

🧩 문제 정의

우리는 다음과 같은 영상 피드 시스템을 설계합니다:

• 사용자는 무한 스크롤로 영상을 소비
• 좋아요, 댓글, 공유 등의 반응 기능 제공
• 사용자 반응에 기반한 ML 기반 추천
• 단, ML 모델 자체는 블랙박스로 간주

---

✅ 요구사항 분석

📌 기능적 요구사항 (FR)

기능	설명
FR-1	영상 피드를 받아올 수 있어야 함
FR-2	무한 스크롤 형태로 피드를 탐색 가능해야 함
FR-3	사용자 반응(좋아요, 댓글 등)을 수집해야 함

📌 비기능적 요구사항 (NFR)

관련 FR	요구사항
NFR-1	피드 응답 시간은 500ms 이내
NFR-2	영상 전환은 끊김 없이 자연스러워야 함
NFR-3	사용자 반응은 비용 효율적으로 수집되고 실시간 반영되어야 함

---

👥 핵심 엔터티

👤 사용자 (User)

• 개인화 피드 제공
• 시청 시간, 좋아요 기록, 공유 여부 등 반응 데이터 활용

🎥 영상 (Video)

• 메타데이터 + 영상 파일 경로(CDN)
• 업로더 정보 포함

🤝 상호작용 (Interaction)

• 시청 시간, 좋아요, 댓글, 공유 등
• ML 추천에 활용되는 핵심 신호

📌 이 엔터티 관계 모델은 ML 시스템 입력으로 사용됩니다.

---

🔌 API 설계

1. 영상 피드 요청

GET /api/v1/feed?limit=20

2. (기존) 스크롤 기반 영상 요청 → 개선 후 제거됨

3. 사용자 반응 전송

POST /api/v1/engagement

---

🏗 High-Level 시스템 구조

핵심 컴포넌트

1. Client: 피드 소비 + 반응 전송
2. Feed Service: 피드 요청 처리, 반응 수집
3. Ranking Service: ML 기반 피드 정렬
4. CDN: 빠른 영상 전송

---

🚀 주요 개선 전략

1. ✨ 클라이언트 프리페치 + Pagination

• /feed API에서 영상 묶음(batch) 을 받아 프리페치
• 스크롤 중 API 호출 제거 → 부드러운 UX

2. 🧠 동적 페이지네이션 (Dynamic Pagination)

• 사용자별 시청 패턴에 따라 응답 영상 개수 조절
  • 예: 활발한 유저 → 30개, 적은 유저 → 5개

3. 🚫 서버 캐시 제거

• Feed Ranking Service가 피드를 매번 생성
• 최신 모델 반영 및 신선도 개선

---

📼 영상 전송 최적화

전략	설명
CDN	지리적 엣지 노드에서 빠르게 전달
해상도 분리	144p~480p까지 적응형 제공
세그먼트 분할	초반만 먼저 받아 빠른 시작
Adaptive Streaming	네트워크 상황에 따라 자동 조절

---

🔄 반응 데이터 수집 전략

A. 매번 전송

• 실시간 반영 가능하지만, 네트워크 비용 증가

B. 배치 전송

• 여러 반응을 모아 한 번에 전송 → 비용 절감

✅ 하이브리드 전략

1. 3~5개 반응을 로컬 버퍼에 저장
2. 스크롤 멈춤 / 앱 종료 / 시간 초과 시 전송
3. 로컬 디스크에 저장 → 데이터 손실 방지

개선된 시스템 구조

---

🧠 설계 전략 요약

문제	해결 전략
다양한 활동량	Dynamic Pagination
UX 최적화	클라이언트 Pre-fetch
신선도	서버 캐시 제거 + 실시간 랭킹
비용 효율성	하이브리드 배치 전송

---

🌍 확장 가능성과 적용 분야

이 설계는 영상 피드 외에도 다음 영역에 응용 가능합니다:

• 🛒 이커머스 상품 추천
• 📰 소셜 미디어 피드
• ❤️ 데이팅 앱 매칭

---

🎯 마무리

TikTok, YouTube Shorts 같은 영상 피드는 단순히 보여지는 UI 이상의 복잡한 시스템입니다.

사용자의 몰입을 유지하기 위해, 수많은 성능 최적화, 사용자 경험 개선, ML 기반 추천 전략이 숨어 있죠.

---

📚 함께 고민해보면 좋은 주제

• 실시간 랭킹 시스템에서 ML 모델 배포 전략은?
• 콘텐츠 추천에서 콜드 스타트 문제는 어떻게 해결할까?
• CDN 최적화 외에도 P2P 영상 전달 방식의 가능성은?

---