넥슨 개발자 컨퍼런스 1 : 즐거움을 향한 항해 - 넥슨이 바라보는 데이터와 AI (2018)

저는 데이터 분석쪽을 공부하고 있는 평범한 대학생이고, 궁극적으로는 넥슨에 취업을 희망하고 있습니다. 도메인이 게임으로 정했기 때문에, 이부분에 대해서 어느정도 알아야 한다고 생각하고, 그래서 넥슨 개발자 컨퍼런스를 보면서 게임업계에서 일하시는 분들의 발표를 정리해봤습니다.

원본 : https://www.youtube.com/watch?v=LIbjiecJK0o

첫번째 컨퍼런스는 즐거움을 향한 항해 - 넥슨이 바라보는 데이터와 AI입니다.

1. 즐거움?

• 게임이라는 것은 탄생한지 오래된 것임. 그렇지만 게임에서 즐거움에 대한 해답은 명확하게 나오지 않음.
• 재미없는 게임의 대표적인 예시로 컬링을 들었었음. → 현재로서는 바보같은 생각(2018년 기준)
• 왜 발표자는 그렇게 생각했을까?

컬링의 경우 게임 룰도 이해되지 않고, 해설도 지루하고, 응원할 팀도 없었음.

즐거움을 게임에?

• 게임에서의 한판만 해야지? : 적당히 긴장감 있게 주고 받는 게임에서 내가 존재감 있게 싸워서 이기는 것의 의미 즉, 만족스럽게 게임을 이겨야 됨 → 즐거움의 본질이 게임 컨텐츠(스토리 등) 외에 다른 것에 있는 것이 아닌가?
  

유저의 즐거움이 기준이라면, 이를 극대화 시키는 부분에 있어서 효율적인 접근을 하고 있는가? 라는 반문을 할 수 있음.

여기서의 즐거움, 만족감은 어디에서 발생하는가? → 정답은 복합적임

• 단순한 게임을 해도 통용될 수 있음 (EX. 가위바위보)
• 재미는 어디에서 오는가?

이번 평창올림픽이 재밌었던 이유?

1. 응원할 팀이 있음
2. 역전에 역전을 거듭
3. 연전연승

그렇다면 평창올림픽 컬링의 재미는 어디에서 발생했을까?

→ 위의 이유에서지 않을까?

게임의 진짜 즐거움은 어디서 발생할까?

조사 대상 : 게임을 플레이하는 유저들

방법 : 게임을 끝낸 뒤 설문조사를 함. → 대부분의 넥슨 게임들이 게임 종료 후 다음과 같은 팝업창을 띄운 뒤 설문조사를 하게 됨.

발견한 특이한 점

• 한 게임을 하는 유저에게 있어서, 여러번 접속을 할 때에도, 일일 만족도가 급격하게 변함.
• 유저가 그때 겪는 상황에 따라 만족도가 상당히 변화한다는 것을 알아냄
• 결론적으로 이는 재방문율의 차이와 연결됨

만족도의 차이

• 넥슨에는 수십개의 게임이 존재, 당연히 차이가 날 수밖에 없음.
• 상위게임과 하위게임의 차이? 평균 10이라면, 한 게임이더라도 한 유저의 접속 경험에 따른 만족도 차이를 보이는 것은 10 이상으로 나타남

⇒ /이것이 의미하는 것은 게임의 재미가 발생하는 요인을 효율적으로 짚어낸 것인가 라고 고민할 수 있음.

위 데이터를 해석해보면, 게임을 구성하는 정적요소가 주는 만족도보다, 직접 경험해보고 체험하는 동적요소가 주는 만족도가 예상보다 더 영향을 많이 미침

💡 정적 요소 : 게임의 룰, 시나리오, 그래픽, 사운드
동적 요소 : 어떤 유저를?, 어떤 경기를?, 어떤 사건을?, 이기는가?, 어떤 유저를 만나는가?

우리는 즐거움에 영향을 미치는 동적 요소들을 단순히 유저의 몫으로 여기고 방치하는 것은 아닌가?

• 게임의 핵심 재미에 영향을 미치는 요소들은 우리 생각보다 넓고 다양.
• 그렇기에 단순히 하나의 요소로 가정을 짓고 들어가는 것은 섣부른 판단이라고 할 수 있음.

게임의 재미 = 멋진 게임코어에 수렴하는가?

💡 게임코어 : 룰, 그래픽, 타격감 등

• 우리가 시야를 넓게 보고, 새로운 시선으로 게임으로 바라보면 재미를 극대화할 수 있음.
• 성공적인 게임을 위해서는 컨텐츠만으로는 한계에 도달하게 됨
• 시간이 지나면서 게임컨텐츠의 비중은 줄어들지 않지만, 게임을 즐기는 연령층도 다양해지고, 사고방식도 다양해지면서, 다양한, 개성있는 유저들을 만족시키기 위해서는 지금과 다른 시각으로 바라봐야 할 것임. 물론, 기존의 방법만으로도 만족시킬 수 있는 유저들도 있음.

그런데, 왜 우리는 이런 것들을 과소평가해왔을까?

• 우리가 오래전부터 게임을 해왔고, 게임이 좋아서 게임을 만들기 때문이 아닐까? → 이런 생각이 사고의 폭을 좁힐수도 있음
• 어쩌면 우리는 현재 유저에게 없는 과거의 로망을 실현하려는게 아닌가? → 미래를 선도해야 하는 입장에서 프레임에 갇혀있는 것은 아닌가? → 특정 나이대를 저격해서 게임을 만드는 것이 아니라면, 되돌아봐야 하지 않을까 생각함.
  

그렇다면 우리의 로망은 미래 지향적인가? 과거 지향적인가?

Blind Spot은 게임산업에 아직도 많이 존재함.

💡 Blind Spot : 맹점, 사각지대 (흔히 말하는 빙산의 일각)

• 전문가들이 모여있기 때문에, 시야가 좁아져 있다는 것을 해결해야 함. ⇒ 본인이 보는 시각, 타인이 보는 시각은 완전히 다름
  
• 이 상황이 가속화되면, 현재 유저들을 만족시킬 수는 있겠지만, 멀리 봤을 때에는, 시장을 작게 만드는 방향으로 가게 됨.
• 이 문제를 해결하기 위해서, 객관적으로 해석하기 위해 데이터와 AI가 유용한 도구가 됨.

2. Blind Spot

• 이를 해결하기 위해 예를 들면, 빙의의 과정을 통해서 결과물을 되돌아보게 됨.
• 게임을 하는 느낌을 다르게 적용해서 해보는 편임. 이런 것들이 의외로 새로운 관점을 발견하는데 도움을 많이 받게 됨.

알파고는 창의적인가? 만약 알파고가 인간이라면? (하늘 아래 새로운 것은 없다!)

• 바둑관계자들은 알파고를 매우 창의적이고 실력도 좋다고 생각함.

• 그렇다면, AI라는 기능이 창의와 반대인가?

  • 창의는 인간만 가질 수 있는 것인가라는 의문이 들 수 있음

• 하늘아래 새로운 것이 없다!

  → 창의도 이미 존재하는 사물, 현상을 바라보는 새로운 관점, 이를 연결하는 또다른 시선으로 해석할 수 있음. 이 점을 창의라고 해석한다면, AI야 말로 가장 창의적인 도구라고 생각할 수 있음
  

[머신러닝]
개발자도 유저도 모르는 즐거음에 영향을 끼치는 요소를 발견하는데 적합한 도구 → blind spot을 발견하는 유용한 도구라 할 수 있음

(1) 유저도 모르는 문제

• 늘 중요한 힌트는 남들이 흔히 지나치는, 사소하다 생각하는 작은 곳에서 존재함

• 빅웨이브도 과거에 사소한 힌트로서 정황이 발견되었던 것들임. 작은 힌트들에서 큰 의미를 발견하려고 노력함.

  1) 서버문제

  • 한 서버에 모든 유저들을 받을 수 없기에, 서버를 나누어서 받게 됨. 요즘은 다른 기술들로 해결하는 경향이 있음 → 이를 채널이라고 부름

    • ex) fps에 들어온 신규 유저들이 많이 적응하지 못하는 것을 확인함. 이러한 유저의 비율 즉 초기유저 이탈률이 높음.

  • 기존의 방식으로 해결한다면, 가설을 여러개 세우고, 해결책을 찾음 예를 들면 조작법을 몰라서?, 인터페이스가 복잡해서?, 게임이 어려워서?, 진입장벽이 높아서? 이는 틀에 갇힐 수 있는 방식임 O, X로 가설을 검증함

  • 그렇지만 이 방식은 가설 검증이 명확하지 않아서 O,X로 결판이 나지 않음.

    💡 조작법을 아는것도 아니고 모르는 것도 아닌데 조금 모르는 경우도 있음(애매한 경우). 인터페이스가 조금 복잡하기도 함. 이런 것 등 되게 모호한 결론이 나오기도 함. 그래서 가설은 요즘 세모로 나오는 경우들이 많음.

    가장 중요한 원인이 아예 가설에 포함되지 않는 경우가 있음

    

    이를 머신러닝으로 분석해보면?

  • 신규 유저가 겪는 불편함을 생각해보면 서버를 자주 옮겨다닌 횟수라고 나옴. 직관적으로는 이해하기 힘듦. 서비스가 오래되면 기존 유저들끼리 규칙이 생기게 되는 현상이 발생함.

    

  • 신규유저는 당연히 이것을 모를 것이고, 적응을 못할 것임.

    그래서 무작위로 들어갈 것이고, 해당되는 서버의 특징에 적응하지 못하고, 이상한 취급도 받을 수 있음.

    위와 같은 문제가 발생하게 되면, 유저는 해당 게임을 즐기지도 못하고 끄게 될 것임. 나쁜 바이럴이 발생할 수도 있음

    💡 바이럴(VIRAL) : 바이러스성의, 바이러스성에 의한
    점점 퍼져나가는 방식, 마케팅에서 “바이럴 마케팅”이라는 말로 많이 사용

    ⇒ 이러한 문제를 머신러닝을 통해서 발견을 했음

    사소한 문제지만, 이를 작은 문제로 넘기지 않고 확장하게 되면, mmorpg게임에서 적절한 인구밀도를 만드는 데에도 도움이 될 것임. ex) 메이플에서 헤네시스에서 로그아웃하면 다시 로그인하면 헤네시스로 로그인. 이런것 등 여러가지로 보면 해석이 가능할 것임. 추가로 파티플레이를 좋아하는 사람이라면, 주변에 파티플레이를 많이 하는 사람들이 있으면 좋을 것. 그리고 죽을 것 같은 확률이 높으면, 나를 살려줄 수 있는 사람이 많이 있으면 긍정적인 경험을 하게 될 것임.

    이런 것들이 긍정적인 유저들의 상호작용을 기대할 수 있음.

    2) 특정 직업만 겪는 퀘스트 문제

  • RPG에서 특정 직업만 초기 이탈률이 컸다? EX) 전사만 다른 직업에 비해 완료율이 떨어지고, 이탈률이 높음

    

  • EX) 어떤 마을에 레벨 제한없이 플레이할 수 있는 일반퀘스트를 배치함. 예를 들면, 헤네시스에 레벨 10만 되면 아무나 할 수 있는 퀘스트를 받았는데, 알고보니까 각 직업이 게임을 시작하는 위치가 다 다른데, 특정 직업은 너무 일찍 이 퀘스트를 만났던 것임

    → 이는 특정 직업 유저만 난이도를 높게 느끼고, 게임을 종료하게 만드는 원인이 됨.
    
    → 이 문제의 경우 퀘스트 설정 후 5년이상 발견되지 않았었고, 유저들도 문제를 제기하지 않았었음.
    
    → 대부분의 문제는 유저가 게시판에 글을 쓰는 등 알려주면서 해결하는 경우가 많음. 단, 저레벨 유저들의 문제는 대두되지 않는 경우가 많음. 이런 영역은 데이터 분석으로 명확하게 살펴봐야 되기도 함

    💡 저레벨 유저들의 문제가 대두되지 않는 이유
    → 고레벨 유저들보다 게임 이용시간이 적고, 그만큼 긍정경험, 부정경험의 횟수가 적기 때문

    → 이를 해결하기 위해 게임 디자인 오류를 해결하는 AI 시스템을 개발하고자 함

(2) 개발자들도 모르는 문제

• 아예 모르는 것이 아니라, 잘 감지하지 못하는 문제들일 수 있음

  1) 유저의 실력은 향상되는가? 타고나는가?

  

  • 유저의 실력은 타고난 것라는 결론이 나왔음. 굉장히 빠른 시간에 실력의 임계점에 오르고, 이후에는 느리게 향상되는 결론을 보임.

  • 이것이 어느정도 빠르게 임계점에 도달하는지는 게임의 난이도에 따라 다름. 대부분의 게임은 2~3시간 내에 임계점에 도달하여 더디게 오름. 안타까운 데이터이긴 함. “될놈될, 안될알”이라는 말이 떠오를 수 있음

    실력 향상?

  • 유저가 재미를 느끼는 원인 중 하나가 실력 향상임. 실력이 정체되면, 재미가 반감되고, 이탈을 고민하게 됨. 실제로 실력이 정체되는 구간과 이탈구간이 같은 것을 확인할 수 있었음.

    

  • 근데 이 문제를 타고난 실력으로만 보면 그렇지만, 꾸준히 실력이 향상되는 유저는 존재함.

  • 원인을 살펴보니지속적 실력 향상 유저와 빠르게 정체된 유저의 차이를 디테일하게 보면, 유저에게 피드백이 있냐 없냐 차이

    (EX. 주변의 도움, 스스로 영상을 찾아보거나 공략을 보고 공략해봄) 이런것들이 실력향상의 결정적인 영향력이 있었다라고 할 수 있음.

    주변의 도움, 스스로 영상을 찾아보거나 공략을 보고 공략해보는 등이 실력 향상의 결정적인 영향력이 있었다고 할 수 있음.

    적절한 피드백의 중요성

    

    → 적절한 피드백이 있으면, 대부분의 유저들의 실력이 향상될 수 있기에, 될놈될로 해석한다는 것은 편견이라고 할 수 있음.

    • 단순히 유저의 자율로 맡기는 것은 옳은 방문이 아님.

      

  • 이러한 피드백이 있고, 이로 인해 실력이 향상된다면, 자동적으로 높아지는 재방문율은 수반됨.

    여기서 확인할 수 있는 데이터분석의 결론

  • 데이터를 통한 피드백을 적절히 주면, 대부분의 유저가 현격히 실력이 늘어날 수 있고, 사업적인 성과로 이어지는 것을 확인할 수 있음.

    → 이러한 요인들로 인한 만족도의 등락이 어쩌면 우리가 생각하는 것보다 훨씬 더 큰 영향력이 있을지도 모름. 
    
    → 이를 위해 다이나믹 피드백 시스템을 도입할 예정임.

    2) 적절한 인게이지먼트는?

    💡 인게이지먼트 : 얼마나 게임에 빠져서 플레이하는가? 얼마나 긴박하게 게임을 플레이하는가?

  • 긴박한 게임을 우선 승률 50%의 플레이로 정의해봄

  • 이런 게임이 과연 유저들이 좋아하는가?

    

  • 가설과는 다르게, 적당히 시시한 게임에 가장 만족감을 느끼는 것을 확인할 수 있었음.

    승률 50%의 유저들을 상대적으로 재미없었다는 반응이 많았음.

    → 제 3자 입장에서 보는 공정함, 본인이 보는 공정함은 다른 영역임.

  • 무작정 승률에 따라 공정한 게임이라고 평가하고, 긴장한 게임이라고 공정해야 된다고 강제하는 것은 아님. 조금 더 생각해봐야 할 문제임.

인게이지먼트가 높을수록 이탈률이 낮을까?

• 결과론적으로 말하면 별로 그렇지는 않음.

• 인게이지먼트가 높을수록 게임이용시간이 높고, 이탈률이 낮을까라는 생각을 해보고 확인해봤는데, 생각보다 그렇지는 않았음. 상관관계가 아주 명확하게 드러나지는 않았음. 적어도 우리의 상식인 아주 긴박하고 손에 땀을 쥐는 플레이보다 적절하게 느슨한 플레이가 오히려 만족도가 높았음.
• 주의 : 긴박감을 좋아하는 유저들이라도 계속 그렇다면 만족도가 떨어질 것임.

그렇다면 자동전투?

• 느슨한 플레이의 대표적인 주자로는 자동전투를 떠올릴 수 있음. 원래 자동전투에 대한 거부감이 사람들은 많이 갖고 있었음. 시간이 지나면서, 이 생각이 틀에 갇힌 생각이였음.
• 데이터로 바라보면, 자동전투는 낮은 인게이지먼트로 해석할 수 있음. 유저들이 원하는 것은 무엇인가하고 좀 열린 마인드로 바라봐야 함.

유튜브 인플루언서가 1%, 적극적 참여자(별풍선 쏴주는 사람들) 5%, 나머지가 단순 시청자라 했을 때, 이것을 게임으로 치환해서 보면, 많은 유저들이 하게 하고, 게임을 좋아하게 할 여지가 많이 남아있음.

그렇기에, 얕은 플레이는 작은 정의라고 생각함 → 반대로 말하면 게임산업에는 아직 많은 기회가 남아 있음.

• 저관여 플레이는 아직도, 높은 발전가능성을 가지고 있다고 판단하고, 게임의 저변을 변화시킬 수 있다고 판단. 여기서 AI가 해줄 수 있는 것들이 많음. → 무조건 옳은 방법은 없고, 그 맥락에서 게임은 이래야돼, 저래야돼라는 것들을 깨고 넓게 봐야 함.
  

게임 내에 방치되어 있는 수많은 영역들이 있음.

• 이를 무심히 지나치지 않는다면, 많은 Blind Spot들이 발견될 것임.

→ 게임의 재미 극대화까지 이어질 수 있음.

3. 결론

• 게임코어의 재정의가 필요. 철저하게 이해해야 함. 그렇다면 시야가 열릴 것.
• 미래의 게임은 현재 우리의 로망과는 다를수도 있음.

핵심은 무엇인가?

• 그동안의 프레임으로 봤을 때는 답을 찾는 속도가 굉장히 오래 걸릴 것임. 덩어리를 조금 크게 바라보고 발전시키는 것이 중요함. 모르면 넘어가는 것보다는 한 발짝 가보는 것도 중요함.
• 그래서 데이터와 AI는 우리의 시야를 넓히는데 편견없는 정보를 제공할 것임. 그래서 데이터와 AI는 게임에 큰 도움이 될 것임
• 넥슨에서는 이를 위해 인터렉션 최적화를 위한 로드 밸런서, 다이나믹 밸런싱 시스템 등 만들어진 AI기반 시스템을 모든 넥슨 게임이 누릴 수 있는 환경 마련