틱톡 추천 알고리즘의 원리 첫 공개
왜 멈출 수 없이 스크롤하게 되는지 쉽게 알아보기
서론
최근 틱톡은 안전 및 신뢰 센터를 온라인에 공개하면서, 플랫폼의 일상적인 운영 메커니즘을 상세히 공개했을 뿐만 아니라 핵심 경쟁력인 추천 시스템의 작동 원리를 처음으로 공개했습니다.
짧은 동영상 시장의 치열한 경쟁에서 틱톡이 두각을 나타내게 한 "비장의 무기"로서, 이 알고리즘은 항상 많은 관심을 받았지만 그 비밀은 좀처럼 공개되지 않았습니다.
오늘은 수억 명의 사용자가 "멈출 수 없게" 만드는 이 기술적 비밀을 쉬운 말로 알아보고, 어떻게 수많은 콘텐츠 중에서 여러분의 마음을 사로잡는 영상을 정확히 찾아내는지 살펴보겠습니다.
추천 알고리즘이란 무엇인가?
틱톡의 추천 알고리즘 원리를 이해하기 전에, 먼저 추천 알고리즘이 무엇인지 알아봅시다.
간단히 말해, 추천 알고리즘은 초고효율 정보 필터링 시스템입니다.
마치 개인별로 맞춤 제작된 정보 필터처럼, 여러분의 행동(클릭, 시청, 좋아요 등)을 분석해 어떤 콘텐츠를 좋아할지 예측하고 우선적으로 보여줍니다.
인터넷 발전 과정에서 네 가지 주요 정보 획득 방식이 등장했습니다
- 포털 사이트: 콘텐츠가 카테고리별로 분류되어 있어 직접 찾아봅니다.
- 검색 엔진: 키워드를 직접 입력해 찾습니다.
- 소셜 네트워크: 팔로우한 사람들의 콘텐츠를 봅니다.
- 추천 시스템: 시스템이 사용자의 취향을 예측해 능동적으로 콘텐츠를 추천합니다.
전통적인 추천: 콘텐츠 이해가 필요 없는 "협업 필터링"
초기 추천 시스템의 핵심은 "협업 필터링"입니다.
처음 들으면 복잡해 보이지만, 원리는 매우 간단합니다.
만약 민수가 영상 A, B, C를 보았고, 미영이 영상 A, C, D를 보았다면, 시스템은 민수와 미영이 모두 A와 C를 보았다는 사실을 발견하고 다음과 같이 판단합니다.
- 영상 D를 민수에게 추천해야 함(그와 취향이 비슷한 미영이 D를 좋아하므로)
- 영상 B를 미영에게 추천해야 함(그녀와 취향이 비슷한 민수가 B를 좋아하므로)
이것이 "협업 필터링"의 기본 아이디어입니다.
관심사가 비슷한 사용자를 찾아 그들이 좋아하는 콘텐츠를 추천합니다.
주목할 점은 이 과정에서 시스템은 영상 내용이 무엇인지 전혀 알 필요가 없고, 단지 "누가 무엇을 보았는지"만 알면 된다는 것입니다.
어떤 분들은 "그러면 현재 내 관심사와 똑같은 콘텐츠만 보게 되는 것 아닌가?"라고 질문할 수 있습니다.
걱정하지 마세요, 실제로는 정반대입니다.
시스템은 취향이 비슷한 사용자들을 자동으로 그룹화하여, 마치 같은 프로그램을 좋아하는 시청자들을 한데 모으는 것과 같습니다.
일단 어떤 "관심사 그룹"에 속하게 되면, 시스템은 그 그룹 내 다른 사람들이 본, 하지만 여러분이 아직 접하지 않은 콘텐츠를 추천합니다.
더 흥미로운 점은, 여러분이 영상을 스크롤할 때마다 좋아요, 댓글, 시청 시간 등의 행동이 여러분의 관심사 프로필을 조용히 업데이트하고, 시스템이 여러분이 어떤 그룹에 속해야 하는지 재평가하게 만듭니다.
오늘은 음식 영상에 관심을 보여 "먹방 연합"에 속할 수 있고, 내일은 여행 영상을 몇 개 봄으로써 "여행 애호가" 카테고리에 포함될 수 있습니다.
이 과정이 계속 반복되면서 추천 콘텐츠도 그에 맞게 동적으로 조정되어, 항상 현재 관심사에 맞는 새로운 콘텐츠를 볼 수 있게 됩니다.
추천 알고리즘 업그레이드: 신경망이 가져온 딥러닝 능력
2016년부터 추천 시스템은 딥러닝 시대에 접어들었습니다.
딥러닝의 핵심은 인공 신경망으로, 인간 두뇌의 구조를 모방하여 수많은 상호 연결된 "뉴런"으로 구성됩니다.
신경망의 작동 원리를 범죄자 검거에 비유하면
- 입력층: 아파트 경비원이 방문객 특징 기록(검은 모자, 빨간 옷, 배낭 착용)
- 은닉층: 여러 그룹의 형사가 이러한 특징을 분석하여 패턴 발견
- 출력층: 경찰서장이 형사들의 보고서를 바탕으로 "이 사람이 지난주 연쇄 절도 사건의 용의자"라고 판단
❓️왜 딥러닝은 전통적 방법으로는 찾을 수 없는 복잡한 패턴을 발견할 수 있을까요?
"그림 맞추기" 게임을 하고 있다고 상상해보세요.
전통적인 방법은 "이건 원형이다", "여기 뾰족한 부분이 있다" 같은 단순한 특징만 인식할 수 있습니다.
반면 딥러닝은 경험이 풍부한 플레이어처럼, 기본 형태를 인식할 뿐만 아니라 이를 조합하여 "이것은 모자를 쓴 고양이"라고 판단할 수 있습니다.
딥러닝은 사용자의 좋아요, 댓글, 시청 시간 등의 행동에서 "이 사람은 반려동물 영상에 좋아요를 거의 누르지 않지만, 고양이 웃긴 영상을 볼 때마다 끝까지 시청한다"와 같은 복잡한 패턴을 찾아낼 수 있습니다.
다양한 상황에 맞게 어떻게 조정할까요? 똑똑한 웨이터를 생각해보세요
처음에는 당신의 입맛을 모르므로 대중적으로 인기 있는 메뉴를 추천합니다.
매운 음식을 먹고 눈살을 찌푸리는 것을 보면, 다음에는 덜 매운 음식을 추천합니다.
매주 금요일마다 디저트를 주문하는 것을 알게 되면, 이후 금요일에는 새로운 디저트를 적극적으로 추천합니다.
딥러닝 추천 시스템도 마찬가지로, 당신의 취향 변화를 기억하고 다른 시간, 다른 기분일 때 다른 콘텐츠를 추천하며, 단일 규칙만으로 작동하지 않습니다.
틱톡의 추천 모델: 와이드&딥(Wide&Deep)
틱톡은 2016년에 출시되었는데, 이는 마침 추천 시스템이 딥러닝 시대에 진입하던 시기였습니다. 틱톡의 주요 추천 모델 중 하나는 와이드&딥 모델로, 간단히 말해 두 명의 보조자가 당신을 돕는 것과 같습니다.
하나는 오랜 친구처럼 모든 명확한 취향을 기억합니다.
"이 사람은 고양이 영상을 매우 좋아하고, 볼 때마다 좋아요를 누른다"는 것을 알고 계속해서 고양이 콘텐츠를 추천합니다.
여러분을 오랫동안 알아온 친구처럼, 여러분이 무엇을 분명히 좋아하고 싫어하는지 항상 기억합니다.
다른 하나는 심리학을 이해하는 친구와 같이, 표면적인 것만 보지 않고 행동 패턴을 연구합니다.
"비록 너가 라쿤 영상을 본 적이 없지만, 네가 좋아하는 모든 귀여운 동물 영상에는 '둥글둥글하고, 물건을 씻는' 특징이 있으니 라쿤 영상도 좋아할 수 있다"는 것을 발견할 수 있습니다.
이 시스템은 여러분이 의식하지 못한 관심 패턴까지 포착합니다.
이 두 방식이 결합되면, 여러분의 명확한 취향(이런 콘텐츠만 보고 싶어)도 만족시키고 새로운 세계(와, 이것도 좋아하네)도 발견하게 해줍니다.
이것이 틱톡이 같은 유형의 영상만 보여주지 않고, 예상하지 못했지만 정확히 좋아할 만한 콘텐츠를 계속 추천할 수 있는 이유입니다.
이런 추천 방식은 틱톡을 단순한 "SNS 도돌이표"가 아니라, 현재 관심사를 충족시키면서도 시야를 넓혀주는 플랫폼으로 만듭니다.
여러분의 모든 좋아요, 댓글, 시청 시간은 시스템이 여러분을 더 잘 이해하고 추천을 더 정확하게 만드는 데 도움을 줍니다.
틱톡 듀얼 타워 모델: 어떻게 수많은 영상 중에서 적합한 콘텐츠를 찾는가
틱톡에는 매일 수억 개의 영상이 있는데, 시스템은 이 중에서 어떻게 빠르게 여러분이 좋아할 만한 콘텐츠를 찾아낼까요? 여기서 "듀얼 타워 모델"이 사용됩니다.
이것은 초강력 매칭 시스템과 같습니다.
이 모델에는 두 개의 "타워"가 있습니다.
하나는 여러분의 관심사 특징을 분석하고, 다른 하나는 각 영상의 특징을 분석합니다.
이것은 다음과 같습니다.
- 여러분과 모든 영상에 대해 특별한 "디지털 신분증"을 만듭니다
- 여러분의 "신분증"에는 어떤 콘텐츠를 좋아하는지, 어떤 시간대에 활동하는지, 상호작용 습관 등의 특징이 기록됩니다
- 영상의 "신분증"에는 어떤 내용인지, 어떤 스타일인지, 어떤 특징이 있는지 등의 정보가 기록됩니다
- 시스템은 이 "신분증"을 비교하여 여러분과 가장 잘 맞는 영상을 찾습니다
예를 들어, 여러분의 "디지털 신분증"이 애완동물 영상에 자주 좋아요를 누르고, 저녁에 재미있는 콘텐츠를 보는 것을 좋아한다고 표시한다면, 시스템은 수많은 영상 중에서 빠르게 여러분의 "신분증"과 가장 잘 맞는 영상을 필터링하여 추천합니다.
이 방식은 매우 효율적이어서, 시스템은 수억 개의 영상 중에서 여러분에게 가장 적합한 수백 개의 후보를 몇 밀리초 내에 찾아낸 다음, 더 정교한 순위 매기기를 통해 제공합니다.
이것이 틱톡을 스크롤할 때마다, 여러분이 보는 콘텐츠가 항상 입맛에 맞는 이유입니다!
결론
틱톡 알고리즘은 이렇게 수많은 사용자 행동 데이터를 분석하여 수학적 모델을 구축하고, 콘텐츠 자체를 이해할 필요 없이 여러분이 어떤 콘텐츠에 관심을 가질지 정확하게 예측할 수 있습니다.
이것이 틱톡이 수억 개의 영상 중에서, 몇 초 내에 여러분이 멈추지 않고 계속 스크롤하게 만드는 콘텐츠를 골라낼 수 있는 이유입니다.
실제로 여러분이나 영상을 이해할 필요 없이, 단지 수학 공식으로 여러분 사이의 "인연 지수"를 계산하는 것만으로도 충분합니다.
이것이 알고리즘 추천의 놀라운 점입니다.
인간처럼 세상을 이해할 필요 없이, 순수한 수학적 계산만으로 많은 사람들보다 더 잘 여러분의 취향을 알아내는 것입니다!
