만위 오픈소스 상호작용 세계 모델 Matrix-Game: AI로 한 번에 《마인크래프트》 생성, 이번에는 정말로 플레이할 수 있을까요?
만위 오픈소스 상호작용 세계 모델 Matrix-Game: AI로 한 번에 《마인크래프트》 생성, 이번에는 정말로 플레이할 수 있을까요?
《GTA6》 예고편과 같은 대형 콘텐츠가 공개될 때마다, 전 세계 게이머들은 가상 세계의 현실감, 상호작용성, 자유도에 대한 열띤 토론을 벌입니다. 이 때, 더 깊은 갈망이 표면으로 떠오릅니다: 우리가 미래의 게임에 대한 최종적인 상상력은 과연 어떤 모습일까요?
AI 자체가 '창조주'가 되어 당신의 의도를 실시간으로 이해하고, 동적으로 생성되는 생동감 넘치는 진화하는 우주, 내재된 물리 법칙을 따르며, 당신이 마음대로 탐험하고 조작하며 재창조할 수 있는 상호작용 우주라면 어떨까요?이 세계에서, 매일 아침 해가 뜨는 순간, 떨어지는 잎사귀 하나, NPC의 반응 하나하나가 미리 설정된 스크립트의 반복이 아니라, AI가 '세계 규칙'에 대한 이해와 당신의 상호작용을 바탕으로 탄생하는 유일무이한 경험이 된다면?
과거에는 가능했을지도 모릅니다. 하지만 오늘날, 인공지능 기술의 급속한 발전, 특히 '세계 모델'이라는 최첨단 개념의 등장으로, AI가 주도하는 상호작용적 세계 구축의 비전은 전 세계 많은 선구자들의 주목과 투자를 받고 있습니다.
昆仑만위가 8월 12일 자체 개발한 세계 모델 Matrix-Game 2.0을 드디어 오픈소스로 공개했어요! 이로써 업계 최초로 범용적인 실시간 장기 시퀀스 상호작용 생성을 지원하는 오픈소스 솔루션이 탄생했죠.
이는 딥마인드가 오픈소스화하지 않았던 Genie 3 모델이 남긴 기술적 공백을 채워준 것으로, 구현형 AI, 게임 개발, 영상 제작, 그리고 메타버스 분야에 높은 개방성을 갖춘 생산 도구를 제공할 것으로 기대돼요.
기술 거인인 엔비디아는 Cosmos 플랫폼을 통해 물리 AI의 대중화를 주도하고 있으며, 구글 DeepMind는 최상위 인재를 모아 실제 물리 환경을 시뮬레이션할 수 있는 세계 모델 개발에 집중하고 있습니다. 마이크로소프트의 MineWorld, Oasis 프로젝트 등은 특정 시나리오에서의 실시간 상호작용 생성을 탐구하고 있으며, 리페이페이의 World Labs는 공간 지능을 갖춘 대규모 세계 모델 LWM에 초점을 맞추고 있습니다. 이들은 모두 '세계 모델'의 경계를 지속적으로 확장하고 있습니다.
이 글로벌 기술 혁명 속에서 중국의 기술력도 적극적으로 대응하고 있습니다. 쿤룬완위(Kunlun Wanwei)는 그 중 하나로서 AGI와 AIGC 분야에 지속적으로 투자해오고 있습니다.
이전 출시된 Matrix Zero가 AI를 기반으로 단일 이미지에서 가상 세계를 생성하는 능력을 초기 탐색한 데 이어, 최신 출시된 Matrix-Game은 10B+ 파라미터를 갖춘 첫 번째 오픈소스 상호작용형 세계 모델이 되었습니다. MatrixGame V1의 기술 세부 사항, 오픈소스 코드 또는 온라인 데모에 관심 있는 독자들은 다음 링크를 통해 추가 정보를 확인할 수 있습니다:
프로젝트 홈페이지: https://matrix-game-homepage.github.io
기술 보고서: https://github.com/SkyworkAI/Matrix-Game/blob/main/assets/report.pdf
GitHub 오픈소스 주소: https://github.com/SkyworkAI/Matrix-Game
HuggingFace 오픈소스 주소: https://huggingface.co/Skywork/Matrix-Game
1
Matrix-Game: 상호작용 가능한 ‘실제’ 세계 구축
AI 기반 상호작용 세계에 대한 기대감이 높아지는 가운데, 쿤룬완위(Kunlun Wanwei)의 Matrix 시리즈는 공간 지능 분야에서의 탐구를 한 단계 더 발전시켜, 상호작용 세계 생성 분야에서의 첫 번째 공식 적용 사례인 Matrix-Game을 출시했습니다. 이는 단순히 새로운 모델을 넘어 미래 지향적인 기술 패러다임과 응용 가능성을 제시합니다. 데모 시연에서 Matrix-Game의 능력을 직관적으로 확인할 수 있습니다:
《마인크래프트》 스타일의 여러 클래식 장면에서 Matrix-Game은 사용자의 키보드와 마우스 명령에 정확히 반응합니다. 캐릭터는 전진, 후진, 점프, 공격 등 기본 동작을 유연하게 수행하며, 시점은 사용자의 조작에 따라 자유롭게 전환됩니다:
Matrix-Game은 자기 회귀 방식을 지원하며, 장시간 영상에서도 장면은 높은 시간 일관성과 시각적 연속성을 유지합니다:
Matrix-Game은 장면 일반화의 잠재력을 초기 단계에서 보여주며, 다양한 유형의 가상 세계를 생성할 수 있습니다:
직관적인 시연 이후, Matrix-Game의 상호작용 생성 능력은 이미 엿보이지만, 그 기술적 기반이 능력의 한계를 결정하는 핵심입니다.
Matrix-Game은 무엇인가?
Matrix-Game은 게임 세계 모델링을 위한 상호작용형 세계 기반 모델로 정의됩니다.그 핵심 설계 목표는 자유롭게 탐색 가능한 개방형 환경에서 고품질 콘텐츠 생성 및 사용자 입력의 정밀한 제어를 실현하는 것입니다.
간단히 말해, Matrix-Game은 비디오 생성 기술과 사용자 상호작용 경험을 결합하여 사용자가 간단한 직관적인 명령(예: 키보드 입력, 마우스 이동)을 통해 자유롭게 탐색하고 조작하며, 실시간으로 세부적인 가상 세계를 생성할 수 있도록 합니다.이는 과거 AI가 단순히 애니메이션을 보여주는 것에 그쳤다면, 이제는 AI가 거대한 상호작용형 놀이공원을 제공해 사용자가 단순히 즐기는 것을 넘어 직접 참여해 새로운 놀이 시설을 함께 구축할 수 있도록 하는 것과 같습니다.
세 가지 기술적 기반
Matrix-Game은 세 가지 핵심 기술적 기반 위에 구축되었습니다. 첫째는 Matrix-Game-MC 데이터셋으로, Kunlun Wanwei는 대규모 상호작용 세계 데이터셋을 자체 구축했습니다. 이 데이터셋은 두 가지 주요 데이터로 구성됩니다: 첫째, 대규모 무라벨 Minecraft 게임 비디오; 둘째, 정확한 키보드 및 마우스 제어 신호를 포함한 Minecraft 및 Unreal 제어 가능 비디오 데이터로, 이 데이터는 모두 세밀한 동작 주석을 포함합니다.예비 훈련 데이터 품질을 보장하기 위해 팀은 6,000시간 이상의 MineDojo(Minecraft 기반 오픈소스 AI 연구 프레임워크) 원본 데이터에서 화질과 미학, 비게임 콘텐츠 제거, 동적 및 시점 안정성 등 다단계 필터링 메커니즘을 통해 약 1,000시간의 고품질 720p 비디오 클립을 선별했습니다.
라벨링된 제어 감독 데이터 생성에 있어서는 두 가지 전략을 혼합 적용했습니다. 첫째, VPT 에이전트를 MineRL 환경에서 자동 탐색시켜 정확한 제어 신호를 포함한 대규모 Minecraft 비디오를 생성했습니다. 둘째, Unreal Engine을 기반으로 구조가 명확하고 라벨링이 정확한 시뮬레이션 상호작용 장면을 수동으로 구축해 고정도, 노이즈 없는 제어 라벨링 데이터를 확보했습니다. 이는 고충실도 동작-반응 모델링을 지원합니다.
시스템의 핵심 엔진은 Matrix-Game 주 모델입니다. 이는 고급 확산 모델 기술 기반의 “이미지-투-월드”(Image-to-World) 생성 프레임워크입니다. 공간 지능 능력을 강조하며 복잡한 언어 프롬프트에 의존하지 않고 시각 신호만으로 공간 기하학, 물체 운동 및 물리적 상호작용을 모델링하며, 단일 참조 이미지를 상호작용 동영상 생성의 출발점으로 사용합니다.
이 모델은 사용자의 키보드 명령(예: 상하좌우 점프 공격, 이산 토큰으로 표현)과 마우스 이동(예: 시점 변경, 연속 토큰으로 표현) 등의 입력 데이터를 GameFactory 제어 모듈과 다모달 디퓨전 트랜스포머 아키텍처를 융합하며, CFG 기술을 적용해 제어 안정성을 향상시켜 가상 게임 세계의 비디오 콘텐츠를 직접 생성합니다.
장시간 비디오의 연속적인 생성을 위해 모델은 자기 회귀 방식을 통해 길이를 확장하며, 각 단계에서 이전 비디오 클립의 마지막 5프레임을 운동 컨텍스트로 활용해 단계별로 진행됩니다. 동시에 무작위 방해, 삭제, CFG 안내 등 다양한 전략을 적용해 시간적 편차를 완화합니다. 이 17B 파라미터 규모의 세계 기반 모델은 공간 이해, 사용자 명령 응답, 물리적 상호작용 모델링 측면에서 모두 눈에 띄는 진전을 이뤘습니다.
마지막으로, “세계 모델”의 상호작용 능력과 현실성을 과학적이고 객관적으로 평가하는 산업계의 난제를 해결하기 위해 昆仑万维는 GameWorld Score 평가 체계를 제안했습니다.이는 Minecraft 세계 모델링을 위해 특별히 설계된 통합 평가 프레임워크로, 상호작용형 세계 모델에 대한 통일된 평가 기준을 수립합니다. 시각적 품질, 시간 일관성, 동작 제어 가능성, 물리 규칙 이해 등 네 가지 핵심 차원에서 모델의 종합적 성능을 정량적으로 평가합니다. 이는 Matrix-Game 자체의 반복 개선에 기여할 뿐만 아니라, 해당 분야에 체계적인 평가 기준이 부족한 현재 상황에 유용한 보완을 제공합니다.
단순히 ‘또 다른’ 세계 모델이 아닙니다
Matrix-Game의 기술적 세부 사항과 그 특성을 살펴보면, Kunlun Wanwei가 상호작용형 AI 세계 생성이라는 최전선 분야에서 기술적 돌파구와 독특한 시장 포지셔닝을 추구하는 노력을 확인할 수 있습니다.
핵심적인 특징은 사용자가 AI 세계와 상호작용할 때의 제어감과 세계 자체의 현실감(특히 물리 법칙 측면)이 크게 향상되었다는 점입니다. 일부 AI는 주로 화면을 아름답게 만드는 데 집중하지만, Matrix-Game은 생성된 세계가 내재된 합리성과 일관성을 갖추도록 노력하며, 기본 법칙이나 상식에 어긋나는 장면을 피합니다.
예를 들어, 이 AI 세계에서 물체는 실제로 아래로 떨어지며, 사용자가 조작하는 캐릭터가 점프하거나 장애물에 부딪힐 때 현실적인 반응을 보입니다. 사용자는 캐릭터를 세밀하게 조작해 앞으로 이동하거나 점프, 주변 풍경을 돌아보는 등 다양한 행동을 수행할 수 있으며, AI의 반응 속도가 빠르고 조작감이 자연스러워 사용자가 더 쉽게 적응할 수 있습니다.우리는 이를 다른 유사한 오픈소스 솔루션과 비교해 볼 수 있습니다. 예를 들어 Decart의 Oasis 모델은 실시간 상호작용을 지원하지만, 현재로선 생성된 화면이 비교적 흐릿하고 논리적 일관성이 부족합니다. 일부 사용자는 이를 악몽 같다고 평가했습니다. 마이크로소프트도 Mineworld 모델을 출시했지만, 주로 연구자용 실험 목적으로 사용되며 화면 품질이 낮아 실제 상업적 적용에는 아직 거리가 있습니다.
유튜브 크리에이터 CygnusMC는 Oasis를 체험한 후 이를 “저질 AI”라고 평가했습니다.
반면 Matrix-Game은 세밀한 사용자 상호작용 제어에서 우수한 성능을 보여주며, 모델은 이동, 점프, 공격, 시점 이동 등 다양한 세부 조작을 지원하며, 사용자 입력에 따라 정확하고 자연스러운 반응을 보여줍니다.Matrix-Game의 목표는 사용자가 원활하게 상호작용할 수 있도록 하면서도 그래픽의 현실감, 물리 효과의 신뢰성, 세계관의 일관성을 유지하는 것입니다. 쿤룬만위(Kunlun Wanwei)의 테스트 결과에 따르면, MatrixGame은 마인크래프트 세계 생성 임무의 모든 지표(시각적 품질, 시간 일관성, 동작 제어 가능성, 물리 규칙 이해)에서 두 모델을 모두 초과했습니다.예를 들어, 이미지 품질은 0.72, 키보드 제어 정확도는 0.95, 마우스 제어 정확도는 0.95, 3D 일관성은 0.76으로 모두 비교 그룹보다 높습니다. 이중 맹검 사용자 평가에서 Matrix-Game이 생성한 영상은 전체 선호도 96.3%, 동작 제어 선호도 93.76%를 기록했습니다.이 데이터는 상호작용 경험과 생성 품질의 향상을 직관적으로 보여줍니다.
더 중요한 점은 MatrixGame이 Unreal Engine의 콘텐츠를 학습했기 때문에 더 다양한 작업을 수행할 수 있으며, 블록 스타일의 세계를 넘어 더 복잡하고 개방적인 다양한 대세계를 구축하는 데 더 큰 잠재력을 가지고 있다는 것입니다. 이 점은 더 넓고 다양한 개방형 세계로 발전하는 잠재력을 제공합니다.기술 보고서와 데모를 통해 모델은 다양한 Minecraft 지형, 날씨, 생물군계에서 일반화 능력을初步적으로 보여주었으며, 일부 Minecraft 외 게임 환경으로의 이전 효과도初步적으로 확인되었습니다.
또한, 쿤룬완위(Kunlun Wanwei)는 GameWorld Score 평가 시스템을 개발했습니다. 이는 새로운 개념으로, 이전에는 AI 세계의 품질을 평가하는 기준이 모호했지만, 이제 이 시스템을 통해 세계의 '사용성'과 '현실성'을 더 명확하게 측정할 수 있게 되었습니다.
GameWorld Score 평가 시스템에 이어, 쿤룬완위(Kunlun Wanwei)는 Matrix-Game 모델을 GitHub와 Hugging Face에 오픈소스로 공개했습니다.이 조치는 주로 게임 산업을 대상으로 하지만, 일반적인 모델로서의 잠재력도 유지하고 있습니다. 중국 기업으로서 상호작용형 AI 세계 생성이라는 최첨단 기술 분야에서 오픈소스를 선택한 것은 개방적인 산업 태도와 생태계 발전 촉진 의지를 보여줍니다. 핵심 기술을 공개함으로써 Matrix-Game은 산업 적용 장벽을 낮추고 더 많은 개발자가 참여해 공동 구축을 촉진함으로써 새로운 혁신적 응용 사례가 등장할 것으로 기대됩니다.
1
AI가 생성한 세계, 그 다음은?
AI가 진정한 의미에서 상호작용 가능한 '현실'을 이해하고 구축할 수 있게 되면, 가장 직접적인 영향은 게임 산업에 미칠 것입니다. 전통적인 게임 개발 프로세스는 길고 비용이 많이 드는 반면, Matrix-Game과 같은 상호작용형 세계 모델의 발전으로 개발자는 AI를 활용해 다양한 게임 세계 프로토타입을 빠르게 생성할 수 있게 됩니다. 심지어 AI가 사전 설정된 규칙에 따라 새로운 미션, 장면, 도전을 동적으로 생성해 게임 콘텐츠를 풍부하게 만들고 개발 장벽을 낮출 수 있습니다.
플레이어는 사전 설정된 콘텐츠를 수동적으로 소비하는 것에서 벗어나, AI와 함께 독특한 게임 경험을 공동으로 창조하는 참여자로 변모할 것입니다. AI 기반 NPC는 단순히 고정된 대화를 반복하는 '배경 요소'가 아닌, 의미 있는 상호작용을 할 수 있고 심지어 '개성'을 지닌 지능형 파트너로 진화할 것입니다.
교육 및 시뮬레이션 분야에서는 이 기술이 고도로 제어 가능하고 상호작용이 풍부한 가상 학습 및 훈련 플랫폼을 창출할 수 있습니다. 복잡한 과학 실험 시뮬레이션이나 고위험 직업 기술 훈련 등 다양한 시나리오를 안전하고 비용 효율적인 환경에서 구현할 수 있습니다.
Matrix-Game의 잠재력은 신체 지능의 훈련과 테스트 분야로도 확장됩니다. 로봇이나 가상 지능체가 복잡한 물리적 세계에서 효율적으로 작동하려면 방대하고 다양하며 제어 가능한 훈련 환경이 필요합니다.Matrix-Game이 구축한 물리 법칙을 준수하며 세밀한 상호작용을 지원하는 가상 세계는 지능체의 동작 계획, 과제 실행 및 환경 적응 학습에 이상적인 '트레이닝 공간'을 제공합니다.
메타버스 콘텐츠 제작과 영화·드라마 창작 측면에서도 Matrix-Game은 새로운 상상력의 문을 열었습니다.몰입형 가상 소셜 공간을 빠르게 구축하거나 영화 및 드라마에 필요한 복잡한 동적 장면을 효율적으로 생성하는 데 있어 AI는 강력한 생산성 도구로 작용할 것입니다. 창작자는 기술적 구현의 번거로움에서 벗어나 창의성에 더 집중할 수 있게 됩니다. Decart 공동 창업자 Dean Leitersdorf의 말처럼, 생성형 AI는 인간과 컴퓨터의 상호작용 방식을 근본적으로 변화시켜 새로운 디지털 놀이터를 창조할 잠재력을 지니고 있습니다.
이번 Matrix-Game의 출시를 통해 Kunlun Wanwei는 AI 응용 분야(AI 검색, AI 단편 드라마, AI 음악, AI 게임, AI 소셜 등)에서의 전략적布局 외에도, 기반 기술(“Tian Gong” 시리즈 대형 모델, AI 칩 연구 개발)에 대한 지속적인 투자를 진행하고 있음을 확인할 수 있습니다.
세계 모델은 현실 세계의 시뮬레이션과 이해 능력으로 인해 많은 연구자들이 일반 인공지능(AGI)으로 향하는 핵심 경로 중 하나로 꼽고 있습니다. 현재 AI 연구자들은 세계 모델을 통해 데이터를 넘어 반사실적 추론을 수행하고 “만약에”라는 질문에 답할 수 있는 능력을 추구합니다. 세계 모델이 돌파구를 마련하면 AI의 의사결정 능력이 크게 향상될 것입니다.
그러나 세계 모델 기술은 계산 능력 요구, 모델 환각, 데이터 저작권 등 다중 과제에 직면해 있으며, 이상적인 현실을 완벽히 시뮬레이션하는 “슈퍼 시뮬레이터”로 나아가기까지 아직 긴 여정이 남아 있습니다.그러나 Matrix-Game의 발표는 미래에 던져진 한 조각의 돌처럼, 전 세계의 선구자들의 탐구와 함께 이 트렌드를 명확히 드러냈습니다: AI가 단순히 우리 눈앞의 장면을 생성하는 것을 넘어, 그 장면에 내재된 논리, 생동감 있는 상호작용을 부여하고 심지어 일정한 '창조성'을 보여줄 때, 디지털 세계는某种 의미에서의 '영혼'을 갖게 됩니다.
이러한 세계는 더 이상 단순히 수동적으로 경험하는 대상이 아니라, 우리의 생각의 연장선이자 창의성의 캔버스이며, AI와 함께 미래의 이야기를 써나가는 광활한 공간이 됩니다.
