내비게이션과 상호작용 구동 기기

서론
어떤 가상/증강 현실 시스템에서나 가장 근본적이고 필수적인 기반 기술 컴포넌트 중 하나는 바로 사용자가 시뮬레이션 속에서 이동하고 상호작용하는 장치다. 이런 장치는 시스템의 사용성을 극적으로 확장할 뿐만 아니라, 전반적 몰입감에 중요하다고 여겨진다. 이 장에서는 현재 개발되고 있거나 부상 중인 여러 솔루션과 함께, 이런 하드웨어 컴포넌트 하나가 이 산업의 미래를 결정할 수 있는 이유는 과연 무엇인지 알아보자.

1.2D와 3D의 상호작용과 내비게이션

상호작용형 몰입 가상 현실 애플리케이션은 모델/데이터 상호작용과 내비게이션 혹은 이 둘을 위해 보통 사용자 입력이 가능한 수단이 필요하다. 특수 시스템은 차치하더라도 마우스, 터치패드, 기본적 게임 컨트롤러 같은 표준의 2D 기기는 애플리케이션의 기능 및 유틸리티가 2D 평면에 있거나 해석되지 않는한, 그 용도가 제한적이다. 예를 들어 시점이 일반적으로 Z축(상하)을 따라 제한되는 건축물 안내나 게임 애플리케이션은 2D 입력 기기 사용이 적절하며 이상적인 솔루션일 수 있다. 하지만 일단 Z축을 따르는 사용자 운동을 비행 관련 애플리케이션 등에서 활성화하면, 내비게이션이 방해받거나 불가능하거나 상당히 덜 직관적이 될 수 있다.

분명히 말하자면, 모든 2D 인터페이스가 수동 기기로 되는 것은 아니다. 그림 12.1 처럼 몰입형 디스플레이 솔루션과 결합한 다양한 설정의 러닝 머신이 연구 기관, 대형 건축 회사, 시뮬레이션 및 훈련 애플리케이션에서 폭넓게 사용되고 있다. 대부분의 시스템은 시점을 XY 면을 따라서만 옮기게 돼 있지만, 일부 특수 시스템은 비스듬한 면을 활용해 옮길 수도 있다. 러닝 머신 기반의 시스템 대부분은 한결같이, 발의 움직임 트래킹에 사용하는 기술과는 완전히 독립적으로 사용자의 머리 움직임을 어떻게든 6자유도dOF에 걸쳐 추적한다. 따라서 사용자는 러닝 머신에서 한 방향으로 걸어가면서도 현실 세계에서 움직이는 것과 마찬가지로 머리를 위,아래,옆으로 돌릴 수 있다.

그림 12.1 몰입형 가상 현실 애플리케이션에서 참여자의 시점을 XY 면을 따라 옮길 때 사용하는 러닝 머신 시스템의 세 가지 사례 이미지, 각각 일리노이 어바나 샴페인 대학의 벡맨 일리노이 시뮬레이터 연구소(Beckman Institute linois Simulator Lab)에 있는 컴퓨터 지원 가상환경(CAVE) 디스플레이의 표준 러닝 머신(왼쪽), 버추익스(Virtuix)의 무지향성 러닝 머신(중앙), 그리고 옴니피니티(오른쪽)의 무지향성 러닝 머신이다.

출처: 이미지 제공 - 일리노이 시뮬레이터 연구소(일리노이 대학), 위키미디어 Czar CC 2.0 라이선스 의거 게재, 존 슈미츠

2.수동 인터페이스의 중요성

1장, ‘컴퓨터로 만든 세계'에서 설명한 대로, 현재 가상 현실이라는 타이틀을 달고 있는 몰입형 시각화에는 다양한 시나리오가 있다. 여기에는 참여자가 단지 '구경만 하며' 동영상이 재생되는 동안 머리를 돌리는 정도로만 행동이 제한되는 3D 시뮬레이 션이나 360도 동영상 재생, 아니면 여러 개개인의 군중이 한 사람이 내비게이션하는 CAVE 디스플레이에 들어가는 경우, 헤드마운트 디스플레이를 사용하는 개인이나 여러 사용자의 인터랙티브 경험까지 다양한 것이 가능하다. 시나리오에 따라 컴퓨터로 생성한 공간이나 모델 안에 있는 것 같은 강력한 시각적 존재감을 제공할 수 있지만, 시뮬레이션 속 물체의 일인칭 내비게이션과 직접 상호작용을 허용하는 시스템은 가장 참여적이고 설득력이 있으며, 가장 몰입감이 큰 편이다. 어떤 식이든 촉각과 포스 피드백이 제공될 때 특히 그렇[몬로이(Monroy) 등 2008; 케차바르지(Kechavarzi) 등 2012; 멕클 로인(McGloin) 등 2013].

그래서 HTC 바이브 같이 카메라를 통합한 특수 애플리케이션이나 시스템 외에는 완전히 눈을 가리는 헤드마운트 디스플레이를 착용하면 사용자가 현실 환경을 시각적으로 참조할 수 없다는 점을 기억해야 한다. 키보드, 마우스, 트랙볼, 게임 컨트롤러 등 어떤 것도 볼 수 없다. 따라서 애플리케이션에서 반드시 사용해야 하는 어떤 입력 기기든 직관적이고 조작이 쉬워야 한다. 물리학자이자 작가며 예전에는 아타리 게임을 디자인했던 크리스 크로포드는 1984년에 출간된 저서인『The Art of Computer Game Design』에서 이 요건을 통찰력 있게 설명한다.

“배트를 주고 야구의 목표는 공을 치는 것이라고 말해주면, 그 게임의 목표를 이루기 위해 배트를 공 쪽으로 휘둘러야 한다고 판단하는 데 어려움을 겪는 이는 거의 없을 것이다. 하지만 컴퓨터 야구 게임은 규칙을 알아내기가 그리 쉽지 않다. 배트를 휘두르려면 H를 눌러야 하나? 아니면 S를? 아니면 B를? 혹은 START 키를 눌러야 하나? 조이스틱이라면 트리거를 눌러야 하나? 컨트롤 설명이 없다면 목표는 불분명해 진다.”[크로포드, 1984]

크로포드의 이 비유가 몰입형 가상 현실 애플리케이션에 대한 것은 아니지만, 이 말은 이 분야의 수동 인터페이스나 컨트롤러 디자이너가 직면한 과제의 복잡도를 분명히 알려준다. 어느 정도의 크기와 형태가 적절한가? 버튼과 트리거는 어디에 둬야 좋은가? 무게는 어느 정도가 적당한가? 어떤 촉각과 포스 피드백 단서를 통합해야 할까? 버튼과 트리거는 아이콘으로 표시해야 할까? (VR의 가장 큰 사용자 기반이 될) 일반 엔터테인먼트 애플리케이션용으로 설계된 기기가 건축가나 엔지니어에게도 효과적인 솔루션 역할을 할 수 있을까?
이 장에서는 특히 이 분야용으로 나온 다양한 입력 기기와 대안적 용도로 개발됐지만 이 영역에서 일반적으로 적용 가능성을 찾고 있는 몇 가지를 알아보겠다.

다른 장에서의 제품 설명처럼, 모든 상용 솔루션을 하나하나 다루는 것은 실용적이지 않다. 그런만큼 다음에 언급하는 특정 제품과 기능적 방법론은 특정 기기 카테고리를 대표하는 것으로 이해하길 바란다. 공급 업체의 상세한 목록은 이 책의 부록 B, '자료'에 있다.
마지막으로, 논리적으로 이 장에 포함돼야할 여러 기기 중 이미 다른 장에서 핵심 실행 센서 기술을 설명하며 상세히 설명한 것도 있다. 적외선과 스테레오 카메라로 손의 움직임을 추적하는 리프 모션 기기, 구조광 필드와 전파 시간 측정으로 사용자 트래킹 및 상호작용 등이 가능한 마이크로소프트 키넥트센서군이 그렇다. 이런 기기를 어디에서 설명했는지는 이 장에서 적절한 부분에 넣어뒀다.

3.손과 제스처 트래킹

자신을 위해 완전 몰입형 헤드마운트 디스플레이 기반의 가상 현실 시스템을 사용하는 것 말고, 처음 사용하는 다른 사람의 반응을 자세히 관찰하는 것도 재미있는 경험이다. 흔히 새로운 사용자는 한 손이나 두 손을 모두 들고, 보고 있는 가상 물체를 쥐거나 다른 식으로 상호작용하려는 행동을 보이는 경우가 많다. 이것은 현실 세계에서 물체에 접근해 손으로 만져보고 상호작용하려는 것과 마찬가지로 본능적인 반응이다. 수동 인터페이스는 '불신의 유예suspended disbelief'라는 전반적 목표에 매우 중요하기 때문에 마이크로소프트와 소니에서 제조하는 게임 컨트롤러처럼 실제 이 분야에 참여하는 회사가 궁극적으로 시장을 지배하는 일종의 '킹 메이커'이자 핵심 결정 요인일 수 있다. 다행히 가상 및 증강 현실의 폭넓은 응용 영역을 감안할 때, 공략할 수 있는 시장 점유율은 방대하다.

그럼 가상 환경과 그 안의 물체와 가장 자연스러우면서 직관적인 상호작용 수단이 되는 입력 기기부터 살펴보자.

글러브

가상 현실/증강 현실 산업의 초창기부터 가상 환경에서 상호작용하고 내비게이션에 사용하는 주요(그리고 선호하는 인터페이스는 물리적 세계와의 가장 자연스러운 상 호작용 수단인 손의 힘, 기민함, 동작 범위, 정확도를 활용하는 기본적인 장갑을 기반으로 한 것이다. 수년간 한두 가지 측면에서 성공한 수십 가지가 생산됐지만, 특히 캘리포니아 산호세의 사이버글러브 시스템 주식회사는 이 업계의 부침을 조심스럽게 헤쳐나가며 계속해서 포춘지 선정 500대/글로벌 500대 기업으로 자리매김했고 전 세계의 정부 기관과 대학에서 폭넓게 사용하는 고품질의 정밀 기기를 생산하고 있다. 그림 12.2가 그런 기기 중 하나다.

그림 12.2 무선 사이버글러브 III 모션 캡처 데이터 글러브는 22개까지의 정확도 높은 관절 각도센서로 손과 손가락의 동작을 정확한 실시간 디지털 관절 각도 데이터로 변환한다.
출처: 사진 제공 사이버글러브 시스템 LLC

사이버글러브 III
사이버글러브 II는 사용자의 손가락과 손의 움직임을 정확히 정량화하고, 제어 소프 트웨어와 함께 이 움직임을 가상 환경이나 컴퓨터 화면 속 환경에서 손의 그래픽 재 현으로 매핑하는 무선의 손 중심 3D 모션 캡처 기기다. 사용자는 물리적 개체처럼 디지털 개체에 '손을 뻗어 조작'할 수 있다[CGS, 2015].

모델에 따라 사이버글러브 II는 기기의 서로 다른 지점 18~22개에 걸쳐 독자적으로 저항하는 구부러짐 감지 기술로 정확도 높은 관절 각도 측정이 가능하다. 각 손가락의 구부러짐 센서, 외전 센서, 엄지손가락 교차, 손바닥 아치 등을 측정하는 센서가 있으며, 기본 장갑 자체는 신축성 있는 섬유와 환풍이 잘되는 메시 재질의 손바닥으로 구성된다. 센서 데이터 비율은 100레코드/초(SD 카드)부터 120레코드/초(USB, 와이파이)에 이른다. 무선 데이터 전송은 802.11g 와이파이로 가능하다.

그림 12.2의 기본 형태에서 이 기기는 촉각이나 포스 피드백 단서를 제공하지 않는다는 점을 강조하겠다. 그런 성능은 애드온 시스템으로 가능하다.

그런 제품 중 하나가 10장, '촉각과 포스 피드백 기기'에서 상세히 설명한 사이버그래스 힘 반영 외골격이다.

사용자의 손 운동을 3D 공간에서 트래킹해야 하는 애플리케이션에서 글러브는 11 장, '위치, 방향, 동작 트래킹센서'에서 상세히 설명한 트래킹 기술 중 하나와 페어링 돼야 한다.

페레그린 USB 글러브

소비자용으로 그림 12.3의 페레그린 USB 글러브Peregrine USB Glove는 가상 및 증강 현실 산업용으로 비용 대비 효과가 높은 자연스러운 인터페이스로 상당히 유망하다. 앨버 타 로이드민스터의 아이언 윌 이노베이션스가 개발했고, 원래 <마인크래프트> 등 과제 중심 실시간 전략RTS 게임의 '웨어러블 키보드'로 개발된 페레그린은 가상 현실 게임 커뮤니티에서 새로운 사용자군을 찾고 있다.

내구성과 신축성이 있고, 세탁할 수도 있는 스판덱스와 나일론 메시로 만든 이 장갑에는 손바닥 전체에 하나, 엄지에 두 개, 이렇게 총 세 개의 전도성 컨택트 패드가 있다. 또한 손가락 안쪽에 걸쳐 접점이 18개 있다(검지와 셋째, 넷째 손가락에 각각 다섯 개, 약지에 세 개). 컨택트 패드의 손가락 지점 18개 중 어디든 접촉하면 고유의 제어 신호를 게임이나 기타 애플리케이션에 전송한다. 제어 소프트웨어로 사용자는 제스처만을 기반으로 직접 프로그래밍할 수 있는 액션 30개 이상을 커스터마이징하고 보정할 수 있어서 고유한 터치 조합이 이뤄진다.

그림 12.3 페레그린 USB 글러브는 기기의 손가락과 손바닥에 분포된 전도성 컨택트 패드 및 접점을 이용해서 제스처 를 일반 컴퓨터와 소프트웨어 애플리케이션 명령문으로 바꾼다.
출처 : 이미지 제공 - 아이언 윌 이노베이션 캐나다 주식회사

페레그린은 장갑뒤에 탑재된 탈착식 자기 팟에 붙이는 USB로 컴퓨터에 연결된다. 동작과 몸짓이 케이블 길이를 넘으면 탈착식 팟이 그냥 빠져서 글러브와 센서 손상이 방지된다.

다시 한 번 말하지만, 이 기기는 어떤 형태든 촉각이나 포스 피드백 단서를 제공하지 않는다. 사용자의 손 움직임을 3D 공간에서 트래킹해야 하는 애플리케이션이라면 장갑을 11장에서 자세히 다룬 트래킹 기술 중 하나와 페어링해서 써야 한다.

듀얼 완드/페어링 컨트롤러

간단한 실험을 하나 해보자. 한 손을 바지 주머니에 넣고 하루를 지내는 것이다. 짜증이 나서 실험을 포기하기까지 얼마나 버틸 수 있는지 확인해보자. 가상 현실 시스템을 매우 빈번히, 혹은 수동 조작이 필요한 채로 사용할 때도 마찬가지 개념이 적용된다. 우리 손이 두 개인 데는 이유가 있다. 듀얼 완드/페어링 컨트롤러는 우리 주위의 정보 수집 대역폭을 늘려주고, 기능성과 기민함도 크며, 과제도 더 쉽게 완료할 수 있게 해준다. 그럼 몰입형 가상 환경에서 상호작용과 내비게이션을 돕기 위해 설계된 다양한 듀얼 완드와 페어링 컨트롤러를 알아보자.

HTC 바이브 스팀VR 컨트롤러

특히 HTC 바이브 가상 현실 시스템에서 사용하도록 설계된 그림 12.4의 바이브 컨트롤러는 질감이 있는 둥근 터치패드, 집게손가락 아래의 듀얼 스테이지 트리거, 두 개의 그립 버튼과 시스템 및 메뉴 버튼이 통합된 균형 잡힌 인체공학적 디자인이다. 미학적으로도 매력적인 컨트롤러 헤드의 도넛 형태는 기기의 위치와 방향을 트래킹하는 센서를 분리할 때 필요하다. 컨트롤러는 마이크로USB 케이블로 충전하는 일체 형 리튬 폴리머 배터리를 사용하며, 한 번 충전으로 수시간 사용할 수 있다.

그림 12.4 HTC 바이브/스팀 VR 컨트롤러는 가상 현실 시뮬레이션에서 유연하고 다재다능한 상호작용과 내비게이션 을 실행하기 위해 설계된 첨단 3D 입력 기기다.
출처: 사진 제공 HTC

이 컨트롤러의 위치와 방향은 11장에서 설명한 HTC 바이브 헤드마운트 디스플레이처럼, 내부 MEM 센서와 함께 라이트하우스 3D 공간 레이저 트래킹 기술을 활용해 모니터링한다. 인터페이스 컨트롤과 내부 센서에서 나온 데이터는 무선 송신기를 통해, 호스트 컴퓨터가 유발할 수 있는 간섭 노이즈에서 분리돼 바이브 헤드마운트 디스플레이 수신기로 전송된다. 가벼운 햅틱 효과는 진동 촉감 단서로 제공된다.

오큘러스 터치

지금까지 개발된 가장 혁신적 사용자 인터페이스인 오큘러스 터치는 원래 오큘러스 리프트 가상 현실 시스템용으로 개발된 한 쌍의 핸드헬드 무선 컨트롤러다. 터치 컨트롤러는 산업 디자이너가 제품으로 줄 수 있는 영향력에 대한 좋은 사례기도 한데, 이 장의 앞에서 언급한 필수적인 기능 중 상당수를 구현했다. 기기는 손에 편안하게 쥐어지며, 단 몇 초면 작동 방식을 파악할 수 있다. 그림 12.5처럼, 각 유닛은 검지에 잘 맞게 배치된 트리거 하나, 중지에 두 번째 트리거, 완벽히 배치된 아날로그 엄지 스틱과 라벨이 잘 보이는 두 개의 버튼으로 이뤄져 있다. 기기의 전체적인 모양은 사용자의 손가락에 걸리적거리지 않으면서 쥐기, 가리키기, 흔들기 같이 자연스러운 제 스처가 가능하게 돼 있다. 정전식 표면과 기기의 다른 부분은 시스템이 이런 손의 포즈를 인식하도록 도와줘서 추가적인 콘트롤도 가능하다.

그림 12.5 오큘러스 터치 컨트롤러는 위치와 방향 트래킹을 돕는 IR LED 등 다양한 센서와 함께 가리키기, 흔들기 같은 자연스러운 손 포즈를 추적하는 정전식 컨트롤 표면을 활용한다.
출처: 이미지 제공 - 플리커 에브리데이VR

이런 컨트롤러의 포지션 및 방향은 각 기기 주변에 배치된 IR LED 위치를 모니터링 하는 적외선 카메라인 오큘러스 컨스텔레이션 트래킹 기술로 모니터링된다. 사용자의 손가락이 버튼을 터치하는지, 혹은 특정 위치에 있는지 감지하는 인터페이스 컨트롤과 내부 센서에서 나온 데이터는 무선 전송기를 통해, PC가 생성할 수 있는 간섭 노이즈에서 분리된 오큘러스 헤드마운트 디스플레이 수신기에 전송된다.

오큘러스 터치 컨트롤러는 진동 촉감 단서를 통해 햅틱 피드백을 제공하는데, 주파수와 진폭 모두 가변적이어서 애플리케이션 개발자가 직접 관찰하거나 사용자가 개시한 이벤트에 맞는 촉각 감각을 만들때 상당한 자유와 창의성을 누릴 수 있다.

소니 플레이스테이션 무브 VR 컨트롤러

여러 해 동안 소니 플레이스테이션 라인의 토대가 된 그림 12.6의 무브 VR 컨트롤러는 이 장에서 다룬 다른 제품보다 미적으로나 인체공학적으로도 뒤처지고, 거친 사용자 환경을 고려해 만들어지기도 했지만 과제 수행 면에서는 독보적이다. 무브 컨트롤 러에는 각각 입력 버튼이 아홉 개 있는데, 컨트롤 버튼 네 개(ㅇ, ㅁ, △, X), 측면의 스타트와 선택 버튼, 표준 PS 버튼, 트리거 버튼, 커다란 무브 버튼이 있다. 이 컨트롤러는 특히 상단의 조명 볼(위치 추적에 사용)의 색이 실제 사용 중에 변하는 기능이 참신하다.

그림 12.6 소니 PS 무브 컨트롤러는 3D 공간에서 사용자 손의 빠르고도 미묘한 움직임을 트래킹한다.
출처: 이미지 제공-에반스 아모스

내장된 리튬이온 충전배터리는 완충 시 작동 시간이 10시간이다. 이 컨트롤러의 포지션은 소니 플레이스테이션 카메라로 모니터링한다(사실 뎁스 비전을 위한 스테레오 카메라가 포함돼 있다). 기기의 방향은 내부 MEM 자이로스코프, 가속계, 3축 나침반으로 트래킹하며, 빠른 움직임과 미묘한 움직임을 모두 측정한다. 이 센서에서 나온 정보는 블루투스 송신기로 플레이스테이션 베이스 유닛에 전달된다.

플레이스테이션 무브 VR 컨트롤러는 진동 촉감 단서나 시스템 사용자가 럼블링이라고 부르는 떨림으로 햅틱 피드백을 제공한다.

4.몸 전체 트래킹

몸 전체의 역동적 움직임을 추적해야 하는 몰입형 가상 현실 애플리케이션 시나리오도 매우 많다. 놀라운 예로는 경찰이나 군대가 방 진입 작전과 저격수를 다루는 상황을 위한 필수 기술을 개발할 때 이런 기술을 사용하는 것이다. 몰입형 훈련 시나리오 동안 참여자 몸의 여러 지점과 무기의 움직임을 트래킹함으로써 세부적인 사후 활동 분석을 하고, 문제를 확인하며, 기술을 가다듬을 수 있다. 그림 12.7은 그런 구현을 보여준다.

그림 12.7 동부전선 1군단 157 보병대 군인이 보병 훈련 시스템(DSTS, Dismounted Soldier Training System)을 활용 하고 있다. 비록 이 시스템은 훈련을 대체하지 못하지만, 시나리오를 변경하고 반복할 수 있기에 연습을 보강해주며 개
인과 팀 단위의 동작 등을 분석해준다.
출처: 미 국방부 제공 사진

이런 세부 동작 연구에서 활용하는 방법은 모션 캡처MOCAP 기술 카테고리에 속하는 데, 광학적과 비광학적 두 가지 유형으로 구분된다.

퍼셉션 뉴런

새로운 관성 트래킹 기술의 출현으로 광학 MOCAP 솔루션보다 상당히 저렴한 대안의 문이 열렸다. 그중 하나가 중국 베이징의 노이톰 주식회사가 제조한 퍼셉션 뉴런 Perception Neuron이다. 그림 12.8처럼, 퍼셉션 뉴런시스템은 뉴런이라는 허브에 연결되는 각각 1cm×1cm 크기의 상호 호환 가능한 모션센서 기반이다. 뉴런에는 자이로 스코프, 가속계, 자력계로 구성된 관성 측정 유닛IMU이 들어있다. 이 시스템이 영리한 점은 모든 뉴런이 상호 호환 가능하므로 필요한 어떤 곳에는 배치해 무한대의 조합을 만들어낼 수 있다는 점인데 손, 몸의 특정 부분, 액세서리에 이르기까지 배치해 섬세 한 움직임을 측정할 수 있다. 하나의 허브에는 1~30개의 뉴런을 연결할 수 있다.

그림 12.8 퍼셉션 뉴런 모션 캡처 시스템은 32개까지 상호 호환 가능한 개별 센서로 사용자의 몸과 사지를 트래킹한다.
출처: 사진 제공 노이톰 주식회사

퍼셉션 뉴런시스템은 와이파이를 통한 무선이나 내장 레코딩 온보드 녹음으로, 혹은 USB를 이용해 유선으로도 작동할 수 있어서 완벽하게 유연한 사용성을 자랑한다. 이 시스템의 여러 가지 변형으로는 18~32개의 개별 뉴런 센서까지 출시돼 있다. 또한 이미 상당히 매끄럽게 오큘러스와 HTC 바이브 양쪽의 VR 시스템에서 작동하며 마야, 3ds 맥스, 유니티, 언리얼 등 여러 소프트웨어 솔루션과도 잘 작동함이 폭넓게 입증됐다.

5.게임, 엔터테인먼트 인터페이스

삼성 기어VR처럼 스마트폰 기반 헤드마운트 디스플레이와 함께 사용하는 상용 게임 컨트롤러는 이미 널리 사용되고 있다. 이 사용 시나리오에서는 이런 종류의 여러 블루투스 컨트롤러가 갤럭시 S7, S6, S6 엣지, S6 엣지플러스, 노트 4, 5 같은 안드로이드 기반 삼성 모바일 기기와 연결되긴 하지만, 특정 기기의 정확한 기능에 따라 컨트롤 설계를 다시 매핑해야 할 수도 있다. 그런 설정을 위한 다양한 도움말은 인터넷에서 찾을 수 있다.

그림 12.9 엑스박스 원 게임패드는 오큘러스 리프트 헤드마운트 디스플레이의 소비자 버전에 번들로 판매된 최초의 수동 컨트롤러다.
출처: 플리커에 실린 바고게임즈의 이미지. CC 2.0 라이선스에 의거 수록

오큘러스 개발자 킷 1과 2 같은 기기의 상용 출시와 함께 개발된 최초의 몰입형 게임 애플리케이션으로는 운전 시뮬레이터가 있다. 이 특정 애플리케이션 시나리오에 사용하는 최고 사양의 게임 운전대 중 일부는 스위스 로망쉬르모르쥬의 로지텍 인터내 셔널이 생산한다.
그림 12.10은 그중 하나인 G29 드라이빙 포스 레이신 휠과 변속기다. 여기서 특히 주목할 점은 9장, '감각의 구조'에서 설명한 고해상도의 촉각과 포스 피드백 단서의 광범위한 적용이다. 주변 기기는 다양한 게임 콘솔 및 윈도우 기반 PC 와 호환 가능하다.

그림 12.10 로지텍 G29 드라이빙 포스 레이싱 휠은 오큘러스와 페어링해 상당히 몰입감 있는 운전 시뮬레이션 경험을 전달하는 시뮬레이터 등급의 헬리컬(톱니) 기어 포스 피드백 입력 기기다.
출처: 이미지 제공 - 로지텍

6.머리로 하는 내비게이션

사람의 뇌는 특히 매혹적이며 복잡한 장기다. 혈관 길이는 16만 킬로미터에 달하고 [터킹턴(Turkington) 1996] 뉴론 개수는 1,000억 개로 추정되며, 각각 시냅스가 1,000에서 10,000개 사이대처들러(Chudler) 2011]. 그리고 메모리 저장 용량은 2.5페타바이트 범위 로 추정된다(페타바이트는 100만 기가바이트, 1,000테라바이트다)[레버(Reber) 2010]. IBM 의 뇌 구조 컴퓨팅brain-inspired computing 대표 연구원인 다르멘드라 S. 모다는 보수적으로 인간 두뇌가 38페타플롭의 연산력이 있다고 추산한다(페타플롭은 초당 1,000조 회 의 연산력이다)[그리네마이어(Greenemeier) 2009]. 게다가 이런 엄청난 능력이 75%가 물로 이뤄진 약 1.3킬로그램의 젤라틴 덩어리에 들어있는 것이다[후안(Juan) 2006].

우리 존재의 매 순간 드러나는 이 놀라운 기능적 역량을 상상하는 SF 작품 속의 직접적인 두뇌-기계 인터페이스BMI 사례는 터무니없는 것이 아니다. 인간과 기계 간의 경계를 완전히 제거하기란 가까운 미래에는 거의 불가능하겠지만, 그 선은 분명 흐릿해지고 있다. 지난 10년간 상당한 진보가 이뤄져서 간접적, 비간섭적 방법을 사용한 사람의 인지와 감각 운동 기능의 지원, 복구, 증강을 주목표로, 사람의 두뇌와 복잡한 정보 시스템 간의 직접 커뮤니케이션 경로가 만들어졌다.

이런 노력 뒤에 숨은 동력이 증강 및 가상 현실 인터페이스 그 자체에 집중된 것은 아니지만, 이 분야가 이런 발전과 그로 인한 제품을 활용하는 것만은 분명하다.

그런 기기 중 하나는 캘리포니아 샌프란시스코의 바이오 정보과학 회사 이모티브 주식회사가 개발한 에포크 멀티채널 EEG(뇌파도) 측정 시스템이다. 그림 12.11처럼 기기는 개별 센서 14개(그리고 두 개의 참조/측위 센서)가 있는데, 뇌의 전자 신호를 측정한다. 처음에는 사용자가 동작 기반의 행동을 생각하는 동시에 두뇌 활동을 기록하고 분석해 시스템을 '훈련'시킨다. 그러다보면 시스템은 뚜렷한 사고들 간의 차이를 구분할 수 있다. 이어서 이런 감지를 어떤 컴퓨팅 플랫폼이나 애플리케이션에도 할당하고 매핑할 수 있는데[레(Le) 2010], 주의와 명상 데이터의 높은 변동성과 이상성 때문에 아직은 해결해야 할 여러 과제가 남아있다 마스켈리우나스(Maskeliunas) 등 2016].

그림 12.11 에포크 헤드셋은 고해상도와 멀티채널을 지원하는 휴대 가능한 EEG 시스템으로, 사용자가 생각만으로 몰입형 가상 환경을 내비게이션할 수 있다.
출처: 플리커에 실린 브루노 코르디올리와 보우노우즈의 이미지. CC 2.0 라이선스에 의거 수록

대중 시장용 제품 개발을 가능하게 해준 혁신은 수학적으로 사용자 두뇌의 대뇌피질 주름을 펴서, 주름 패턴이 지문처럼 개인마다 고유함에도 불구하고 신호 매핑을 실제 출처에 가깝게 하는 알고리즘이 개발되면서 이뤄졌다[레(Le) 2010].

이 기기는 이미 여러 몰입형 가상 현실과 로봇공학 애플리케이션의 인터페이스로 전 세계에서 폭넓게 사용중이다.

7.결론
입력 기기, 컨트롤러, 기타 사용자 입력이 가능한 수단은 몰입형 가상 현실 시스템과 애플리케이션 대부분에서 핵심적인 컴포넌트다. 센서로 가득한 장갑, 반지, 완드 같은 수동 인터페이스, 수많은 게임 인터페이스부터 모션 캡처 시스템, 무지향성 러닝 머신, EEG 활동이나 시선 트래킹 기기까지, 이 도구는 컴퓨터가 생성한 환경 내의 이동과 상호작용에 필수적이다.

몰입형 가상 현실 시스템의 다양한 애플리케이션 영역역시 방대하고 다양한 입력 기기를 선택해야 한다. 예를 들어 새로운 우주 정거장 모듈 설계를 평가하는 엔지니어라면 게임 팬이나 미묘한 복강경 기법을 시술하는 의사와는 완전히 다른 도구가 필요 하다. 이런 이유로 실제 애플리케이션, 콘텐츠와 더불어 상호작용과 내비게이션이 가능한 기기는 이 업계에서 가장 역동적이고 변화무쌍한 측면이 될 것이다.

                                                    출처 - 실전 증강 현실(스티븐 옥스타칼니스 지음)