Intro
GDC2020의 발표 중 하나인 Matchmaking for Engagement: Lessons from Halo 5의 내용을 정리, 요약한 글이다.
https://www.youtube.com/watch?v=0FoG4Jtpebs&t=808s
이 발표의 핵심 단어는 Engagement 이다. Engagement는 유저가 적극적으로 게임에 참여하는 것을 의미하며, 이를 위해서는 좋은 매치메이킹이 필요하다. 조건에 완벽히 맞는 유저들 끼리만 매칭할 수 있으면 좋겠지만 사실상 불가능하다. 그럼 더 좋은 매치메이킹이란 무엇일까?
데이터 분석
일반적으로 매치메이킹을 할 때 중요하다고 생각되는 요소들이 있다. 어떤 요소들이 중요하게 작용하는지 알기 위해 헤일로 5 팀은 Observational Study 라는 방법을 사용했다. 이미 서비스중인 게임이라는 점을 이용해 이전 매치의 기록을 분석하는 것이다. 만약 유저간의 실력 차이가 중요한 요소라면, 이 실력 차이가 적을 수록 게임을 많이 할 것이라는 가정을 해볼 수 있을 것이다.
하지만 만약 실력 차이가 0일 때 가장 많은 유저가 플레이를 했다면 답을 얻었다고 할 수 있을까? 그렇지 않다. 매치메이킹은 이 실력 차이가 적은 방향으로 매칭을 하기 때문에 플레이 횟수가 많아질 수록 그 결과도 좋아진다. 따라서 헤일로 5에서는 유저의 강제 종료 여부를 검사하는 방법을 사용했다. 만약 한 유저가 게임을 하다가 강제로 꺼버렸으면 그 유저는 게임에 제대로 참여하지 못했다고 생각할 수 있을 것이다.
데이터를 분석했을 때 이 실력 차이가 클 수록 게임을 강제로 종료하는 확률이 올라간다는 것을 알 수 있다. 그 차이가 너무 커지면 확률이 25% 까지도 올라갔다. 또한 유저가 어느정도의 차이까지는 민감하게 반응하지 않는지도 알 수 있었다.
팀의 실력 차이는 개인의 플레이 경험보다 팀의 승리에 영향을 주는 값이다. 이 차이가 너무 크면 게임 초반부터 이길 수 없는 게임이라는 느낌이 들 것이다. 헤일로 5의 경우 한 팀에 4명이 들어가기 때문에 계산한 확률에 4를 곱해서 팀원 중 한 명이라도 나갈 대략적인 확률을 알 수 있다. 결과적으로 개인간의 실력 차이보다 팀의 실력 차이가 강제 종료 여부에 더 큰 영향을 미치는 것을 알 수 있었다. 수치상으로 100 정도의 차이에서 강제 종료 확률이 두 배가 되었고, 400 이상 차이가 나면 팀원 중 한 명은 거의 확실히 나감을 알 수 있다.
필요 조건
헤일로 5에서 유저의 실력을 나타내기 위해 사용하는 시스템은 마이크로소프트에서 만든 TrueSkill2 다. TrueSkill2는 기존의 MMR 계산 방식에 비해 승패는 물론이고 플레이 횟수, 파티 크기, 킬, 데스, 종료 여부 등을 포함해 훨씬 적은 판수만으로도 비교적 정확히 실력을 측정할 수 있다고 한다. 특히 킬/데스가 중요한데 이는 플레이어가 게임에 얼마나 참여하고 있는지를 나타내기 때문이다. 이처럼 정확한 실력 측정 시스템이 갖추어진 후 유의미한 데이터 분석을 진행할 수 있다. 따라서 만약 유의미한 결과를 얻지 못했다면 MMR 시스템이 놓치고 있는게 없는지 확인할 필요가 있다.
결론
실력 차이는 유저의 경험에 큰 영향을 미치고, 팀 간의 실력 차이는 개인의 차이보다 중요하다. 심한 구간에서는 같은 차이여도 6배 이상의 강제 종료 확률을 보이기도 한다. 다행히 팀 간의 실력 차이는 조절하기 더 쉽다. 매칭 후 차이가 가장 적은 방향으로 유저를 섞으면 되기 때문이다.
단순히 강제 종료를 하는 것 만이 아니라, 종료 후 8시간 이상 접속을 하지 않는 유저의 비율을 봤을 때에도 비슷한 결과를 얻을 수 있었다.
너무 강력한 파티
이 문제를 해결하기 위한 완벽한 방법은 없다. 너무 강력한 파티가 다른 유저들을 압살한다면 전체적인 유저 경험이 나빠진다. 헤일로 5에서는 다른 게임들과 비슷한 방법을 사용한다. 지나치게 불공정한 매치는 만들지 않는 것이다. 전체적으로는 좋지만 특정 유저들에게는 매칭 시간이 오래 걸리게 된다.
롤은 솔로/듀오 파티는 파티 여부에 상관 없이 매칭을 하고 더 큰 파티는 따로 매칭을 진행한다. 매칭 풀이 쪼개지는 단점이 있다.
오버워치는 다른 방법을 사용한다. 특정 등급 이상의 유저는 파티 플레이를 할 수 없는 것이다. 그랜드 마스터 이상은 솔로/듀오 플레이만 가능하다.
스포츠에서도 비슷한 제한을 둔다. 한 팀의 연봉에 제한을 두는 등의 방식이다.
다른 요소들
일반적으로 매치메치킹에 중요하다고 생각되는 요소들도 테스트 해봤다.
- 레이턴시
- 대기 시간
- 연패 횟수
의외로 이러한 요소들은 유저의 강제 종료 확률에 영향을 주지 않는 것을 확인했다. 그 밖에도 헤일로 5에서 사용한 방법으로 다른 요소들도 얼마든지 확인해볼 수 있다.
A/B 테스트
보통 이러한 문제를 해결하기 위해 많이 사용하는 방식이 A/B 테스트이다. 마이크로소프트의 연구에 따르면 이상적인 MMR 차이는 해당 시간의 매칭 인구 수에 따라 다르다. 따라서 A/B 테스트를 하면 인구를 나누기 때문에 최적의 결과를 얻지 못할 수 있다. 앞으로 추가 적용해볼 수 있는 방법은 특정 시간마다 동전을 던져 A/B 중 한 가지 방법으로 매칭을 진행하는 것이다.
