페이스북 뉴스 피드 설계와 인스타그램 피드 설계를 배경 삼아 가상 면접에 대해서 기록해보도록 한다.
- 피드 발행 : 사용자가 스토리르 포스팅하면 해당 데이터를 캐시와 데이터베이스에 기록
- 뉴스 피드 생성 : 지면 관계상 피드는 모든 친구의 포스팅을 시간 흐름 역순 정렬
뉴스 피드 API
클라이언트가 서버와 통신하기 위해 사용하는 수단으로 HTTP 프로토콜 기반이고, 상태 정보를 업데이트하거나, 뉴스 피드를 가져오거나, 친구를 추가하는 등 다양한 작업을 수행한다.
피드 발행 API
새로운 피드를 생성하기 위한 API, HTTP의 POST 형태로 요청을 보낸다.
POST /v1/me/feed
피드 읽기 API
뉴스 피드를 가져오는 API
GET /v1/me/feed
- 로드밸런서 : 트래픽을 웹 서버들로 분산
- 웹 서버 : HTTP 요청을 내부 서비스로 중계
- 포스팅 저장 서비스 : 새 포스팅을 DB와 cash에 저장
- 포스팅 전송 서비스 : 새 포스팅을 친구의 뉴스 피드에 푸시
- 알림 서비스 : 친구들에게 포스팅을 푸시
뉴스 피드 생성
뉴스 피드 생성 과정을 보여주는 아키텍처 설계
- 로드밸런서 : 트래픽을 웹 서버들로 분산
- 웹 서버 : 트래픽을 뉴스 피드로 서비스로 보냄
- 뉴스 피드 서비스 : 캐시에서 뉴스 피드를 가져오는 서비스
- 뉴스 피드 캐시 : 뉴스 피드를 렌더링할 때 필요한 피드 ID 보관
피드 발행 흐름 상세 설계
웹 서버 : 웹 서버는 클라이언트와 통신할 뿐 아니라 인증이나 처리율 제한 등의 기능도 수행, 올바른 인증 토큰을 Authorization 헤더에 넣고 API를 호출하는 사용자만 포스팅 가능
포스팅 전송 서비스 : 포스팅 전송, 팬아웃은 어떤 사용자의 새 포스팅을 그 사용자와 친구 관계에 있는 모든 사용자에게 전달하는 과정, 팬 아웃에는 쓰기시점과 읽기 시점이 존재한다.
쓰기 시점 팬아웃 : 새로운 포스팅을 기록하는 시점에 뉴스 피드를 갱신한다. 다시 말해 포스팅이 완료되면 바로 해당 사용자의 캐시에 해당 포스팅을 기록
- 장점
- 뉴스 피드가 실시간으로 갱신되며 친구 목록에 있는 사용자에게 즉시 전송
- 새 포스팅이 기록되는 순간에 뉴스 피드가 이미 갱신되므로 뉴스 피드를 읽는 시간이 짧아짐
- 단점
- 친구가 많을 경우 목록에 있는 사용자 모두의 뉴스 피드를 갱신하는 데 많은 시간이 소요됨(핫키 문제)
- 서비스를 자주 이용하지 않는 사용자의 피드까지 갱신해야하는 낭비가 발생
읽기 시점 팬아웃 : 피드를 읽어야 하는 시점에 뉴스 피드를 갱신한다. 요청 기반의 모델이다. 사용자가 본인 홈페이지나 타임라인을 로딩하는 시점에 새로운 포스트를 가져온다.
- 장점
- 비활성화된 사용자, 또는 서비스에 거의 로그인하지 않는 사용자의 경우에는 이 모델이 유리, 자원 낭비를 하지 않는다.
- 데이터를 친구 각각에 푸시하는 작업이 필요 없으므로 핫키 문제도 발생하지 않음
- 단점
- 뉴스 피드를 읽는 데 많은 시간이 걸림
뉴스 피드를 빠르게 가져올 수 있도록 하는 것은 아주 중요하므로 대부분의 사용자에 대해서는 푸시 모델을 사용하며, 풀 모델을 사용하여 시스템 과부하를 방지할 수 있다. 아울러 해시를 통해 요청과 데이터를 보다 고르게 분산하여 핫키 문제를 줄일 수 있다.
피드 읽기 흐름 상세 설계
- 이미지나 비디오 같은 미디어 콘텐츠는 CDN에 저장하여 발리 읽어갈 수 있도록 구현
- 로드밸런서를 활용하여 웹 서버 트래픽 분산
- 뉴스 피드 서비스 호출
- 뉴스 피드 캐시에서 포스팅 ID 목록 호출
- 생성된 뉴스 피드를 JSONd 형태로 클라이언트에게 보냄
