인터랙션 개발에 대하여(14)

#오디오 디스플레이(1)
서론
가상 및 증강 현실 디스플레이 시스템에서는 사용자를 향한 정보 소통에서 시각 디스플레이 컴포넌트가 지배적 역할을 하고 있지만, 이는 사용자가 향하고 있는 방향에서 일어나는 일과 이벤트에 상응하는 자극을 제공하는 데 국한된다. 숨은 오디오 단서나 풍부한 3D 배경 음향만 추가해도, 사용자를 둘러싼 360도 가상 환경에 중요한 추가 데이터를 제공할 수 있다.이번 학습에선 가상 및 증강 현실 시스템에서 사용하는 다양한 오디오 디스플레이를 알아보고, 각각의 기능적 차이 와 가장 유용한 적용 유형들을 학습해보겠다.

A.기존 오디오
가상 및 증강 현실 애플리케이션에서도 오디오 사용의 장점

• 상황 인지력을 높여줌

• 내비게이션과 길찾기를 개선

• 크기와 공간, 심도 인지를 개선

• 가상 환경에 전반적인 '존재감'을 더해줌

  반대로 모든 가상 및 증강 현실 애플리케이션이 사운드 추가로 혜택을 입는 것은 아니란 점도 알아야 한다. 사실 과학과 공학에 타기팅된 여러 애플리케이션은 사운드를
  전혀 사용하지 않는다. 그로 인한 혜택이 전혀 없기 때문이다. 예를 들어 복잡한 기하
  학 모델, 설계의 시각적 탐구와 검토, 지질물리학 데이터, 의료 이미징 분석에 집중하 는 애플리케이션 등은 오디오 컴포넌트를 추가한다고 해서 생기는 혜택이 거의 없다.

B.가상 및 증강 현실 시스템에서 사용할 수 있는 여러 오디오 디스플레이 솔루션 종류, 장 단점, 다양한 애플리케이션에 무엇이 가장 효과적인지에 대한 학습

1.모노 사운드
모노 사운드(=모노럴, 모노포닉)는 모든 오디오 신호가 단일 채널로 결합돼 단일 스 피커에 입력되는 기본적 사운드 재생 포맷을 지칭하는 용어다.
아래 그림처럼 오디오 출력은 한 위치에서 나오는 것으로 인지된다.
모노 사운드 시스템에 여러대 의 스피커를 사용할 수도 있는데(항공용 헤드폰처럼 클 러스터링되거나 별도로 사용할 수 있음), 각각 동일한 출력 신호를 수신한다. 모노 오디오 신호는 본질적으로 두 귀가 함께 방향과 심도 단서를 시뮬레이션하는데 필요한 강도와 도달 시간 정보가 없다는 특징이 있다. 하지만 도플러와 거리 처리 (예: 경 감, 필터링, 반향)를 통해 모노로도 거리 단서를 제공할 수는 있다.
모노 오디오는 기본적이고 제한적인 오디오 포맷이라고 치부하기 쉽지만, 방향 속 성이 필요하지 않은 경우에는 단일 채널 출력물이 최적의 방법인 가상 및 증강 현실 시스템에서 다양하게 활용할 수 있다.
가장 단순한 사례로는 경고용 부저나 알림음을 들 수 있다. 연산 부하를 생각해봐도, 모노 사운드 생성은 최소의 시스템 자원만을 요한다.

결론 : 방향 속성이 필요없는 단순한 오디오는 모노 사운드를 사용하면 된다!

2.스테레오 사운드
스테레오(스테레오포닉 stereophonic의 줄임말로, 그리스어에서 스테레오스 stereos 는 ‘확고하거나 굳은'을 뜻하며 포네phone는 '소리', '톤'을 뜻함)
= 여러 오디오 신호를 두 개의 독립된 오디오 채널로 결합하는 오디오 녹음 및 재생 포맷을 가리킨다.

모노 시스템과 차이점
모노 시스템과 달리 스테레오 오디오 신호는 소리의 강도와 도달 시간 정보가 있어 방 향과 심도 단서를 두 귀로 함께 시뮬레이션 및 재생할 수 있다. 스테레오 시스템은 스 피커 두 개 이상이나 헤드폰 한 쌍이 있어야 그 효과를 낼 수 있다.

스테레오 시스템의 두가지 종류
■ 인공적 스테레오(= ‘팬포트형pan-potted' 모노)
단일 채널 오디오 신호(모노)를 여러 스피커로 재생하는 시스템을 가리킨다. 공간 감은 좌우에 소스가 배치돼 있거나 이동하는 느낌을 주기 위한 패닝 (각 스피커에 보내는 소스 신호의 증폭 변경), 거리가 변하며 앞뒤로 움직이는 효과를 위한 로우 패스필터(더 낮은 주 파수가 필터를 통과하도록 차단 주파수 위의 신호를 경감), 앰비언스 효과를 위한 혼합 반향 같은 신호 처리 기법으로 시뮬레이션한다.

■ 트루 스테레오('자연적인 스테레오')는 두 개의 독립된 오디오 채널이 있는 오디 오 시스템을 가리킨다. 트루 스테레오에서 재생된 사운드 신호는 두 채널의 강도와 도달 시간이 구분돼, 재생하면 원래의 음장이 주는 것과 같은 소리가 설득력 있게 재현된다.

정리 : 한 채널에서 들릴 사운드를 좌우마다 채널을 만들어줘서 들려주니 더 소리의질이 좋음

기존의 고정 스피커 스테레오 시스템은 설득력 있는 공간 음장을 만들어낼 수 있지만, 전달되는 오디오가 라이브로 녹음됐든, 스튜디오에서 철저한 믹싱 작업으로 탄생 했든, 시각적 시뮬레이션 애플리케이션을 보완하기 위해 실시간으로 생성했든 간에 이런 효과 를 경험할 수 있는 영역은 제한적이다.

아래 그림처럼, 최상의 사운드 배치 및 심도를 느끼려면 청취자가 두 개의 스피커와 정 삼각형을 이루도록 둘 사이의 중앙선에서 충분히 떨어진 곳에 있어야 한다. 이 청취 위 치에서('스윗스팟sweet spot'이라고 함) 두 귀의 시차와 강도 차이가 최소화되므로, 두 대의 고정 스피커와 둘의 공통 수평면에 걸친 선의 중간 앞 영역에서는 음장 효과를 제대로 누릴 수 있다. 청취자가 스윗스팟에서 벗어나면 사운드 배치와 심도의 느낌이 극 적으로 떨어진다. 소리는 계속 또렷이 들리지만, 사운드 이미지의 풍부한 공간감은 사라 진다.
이상적인 청취 조건에서는 주파수 컨투어링frequency contouring과 혼선 제거로 일부 사운드 이미지를 수평면 위아래로 이동시킬 수 있지만, 이때 음장 효과는 소리가 고막에 도달하기 전에 개개인의 귓바퀴가 주파수를 변경하는 방식이 각자 다르기 때문에 제 대 로 느끼는 사람과 그렇지 않은 사람이 생긴다.헤드폰의 경우 공간감은 꽤 확실하지만, 사운드 이미지가 전반적으로 두 귀 사이의 공간에서 나오는 것처럼 인지된다.

+추가 지식
정상적인 스테레오 사운드를 가상 및 증강 현실 애플리케이션에서 사용할 때는 음장(=우 리가 스테레오 사운드를 들을 때 느껴지는 소리의 넓이 예시로 눈을 감고 오케스트라를 상상하며 음악을 들으면 그 음악의 넓이가 느껴지는데 그게 음장이다.)
이 생성될 수 있는 영역이 제한된다는 점을 감안해 세심하게 실험해야 한다.

-> AR 애플리케이션에선 구현할 수 있는 사운드의 범위가 제한되어있단 뜻!

일반적으로는 앞쪽에서 사운드를 전달하면 된다. 신호 처리를 통해 어느 정도 유연하게 적용할 수는 있지만, 시간과 노력을 들이느니 그냥 대안을 택하는 편이 낫다는 것을 깨 닫게 될 것이다. 사용자가 한 방향을 향한 고정형 디스플레이를 채택한 시스템 에서는 스테레오 오디오만 제대로 활용할 수 있다. 와이드 화면의 극장 같은 영사 시스템, 자동 차 앞유 리 디스플레이를 보완하기 위한 자동차 안의 (6장, '완전 몰입형 디스플레 이'에서 논의한 것 같은) 반구 형 디스플레이, 내장형 내비게이션을 개선하기 위한 독립 형 모드 등이 그런 예다. 이런 상황에서는 자동 차가 움직이더라도 운전자의 운전석 내 위치와 그에 따른 스피커와의 관계가 상대적으로 지속된다.

-> 실감형 콘텐츠 전시관의 스테레오 사운드를 생각!

예시로 프랑스 자동차 제조사 PSA 푸조 시트로엥이 개발 중인 한 애플리케이션은 내비게 이션 시스템의 음성 지시를 최적화해준다. 사운드의 가상 배치로 '우회전' 안내가 운전 자 오른쪽 앞유리에서 나오는 것 같은 느낌을 줄 수 있다

3.서라운드 사운드

= 디지털 신호 처리 기법과 함께 중앙청취 위치를 중심으로 세심하게 배치한 스피커들로 연결되는 독립 오디오 채널 네 개 이상으로 반몰입형 음장을 만들어내는 고급 오디오 시스템을 지칭한다.
중앙청취위치에서 두 개의 스피커 쪽 전면으로 뻗어가는 포물선 안쪽에서(헤드폰의 경 우에는 청취자의 머리 안쪽 에서) 음장의 느낌을 제공하는 스테레오와 달리, 서라운드 사운드는 인지되는 음장을 청취자의 주위 360도 반경으로 확장한다. 스피커를 정확히 배치하면, 음장안의 모든 요소는 아래 그림처럼 공통의 수평면을 따라서 있는 것으로 인지된다.

서라운드 사운드 포맷
수많은 서라운드 사운드 포맷과 스피커 설정을 쓸 수 있는데, 각각 고유한 용어가 있음. 가장 기본적인 서라운드 사운드 포맷은 5.1이라고 불린다.
(돌비 마크에 5.1이 이 의미임)

그림 8.5처럼, 이 포맷은 여섯 개의 별도 채널을 활용한다. 일반적인 풀 레인지 오디오 채널 다섯 개(좌측 전면, 중앙 전면, 우측 전면, 좌측 서라운드, 우측 서라운드)와 베 이스 증폭을 위한 저주파 효과 채널(서브우퍼) 하나다. 이런 시스템은 주파수에 지향성 이 없기 때문에 서브우퍼를 상당히 유연하게 배치할 수 있다(7장, '청각의 구조'에서 알아본 대로, 저주파 사운 드의 긴 파형은 물체 주변에서 구부러진다). 게다가 영화나 사운드트랙처럼 서라운드 사운드 시스템용으로 전문적으로 믹싱된 오디오 대부분은 보통 관객/청취자가 한 방향을 향해 앉을 것이라는 사실을 활용해, 등장인물의 대사 전달에는 전면 중앙 채널을 사용한다.

이 기본 설정에서부터 서라운드 사운드의 포맷과 스피커 설정은 더 복잡해진다. 예를 들 어 6.1채널 시스템은 청취자 뒤에 있는 스피커 하나(혹은 여러 개)를 타기팅하는 추 가 채널을 더한다. 7.1 시스템은 후면에 추가 채널 두 개를 더해서 풀 채널이 총 여덟 개 가 된다. 최근 시네마틱 오디오의 발전으로 7.1.2채널 시스템 개발도 이뤄졌는데,
청취자 위에 스피커 채널을 두 개 더 넣는다.

• 서라운드 사운드는 컴퓨터가 지원하는 가상 환경(CAVE), 반구형/돔형 디스플레이, 기타 와이드 시야 곡면 화면 시스템(각각 6장, '완전 몰입형 디스플레이' 참고) 같은 대형 고정 디스플레이와 다양한 풀 모션 비행 시뮬레이터 같은 몰입형 시각화 시스템에서 활 용할 때가 많다. 일반적으로 개인이나 청중이 한 방향을 향해 상대적으로 안정적 위치를 유지하는 애플리케이션은 참여자 주위를 둘러싸고 들려주는 서라운드 사운드 솔루션에서 가장 큰 혜택을 누릴 수 있다.

  객체 기반 서라운드 사운드
  지금까지 언급한 고정 스피커 서라운드 사운드 솔루션은 각각 특정 채널(혹은 스피커)에 맞게 오디오를 믹싱하고 음장 안에 실제 사운드가 존재하는 느낌을 만들어내야 한다는 제약이 있다. 이 방법은 효과적이긴 하지만, 특히 사운드가 수평면보다 한참 위나 아래 에서 들리길 바랄 때는 제약이 있다.

  객체 기반 서라운드 사운드라는 새로운 혁신적 접근법이 현재 여러 제조사에서 나와(돌 비 애트모스, DTS:X, Auro-3D), 오디오 엔지니어와 디자이너가 사운드 이벤트를 개별 개체로 다뤄 3D 공간에서 정확한 위치와 이동을 정의할 수 있게 됐다.
  방법론과 접근법은 다양하지만, 제조사 시스템마다 사운드 디자이너가 개별 사운드 요소 에 대한 특정 위치와 벡터를 선택할 수 있으며, 믹싱 소프트웨어로 타깃에 올바른 스피 커를 결정해서 원하는 효과를 낼 수 있다. 이 새로운 접근법으로 훨씬 많은 고정 스피커 를 극장과 홈씨어터에 적용 해서 놀라운 3D 청취 경험을 만들 수 있다. 하지만 여기서 끝나는 것은 아니다.

  객체 기반 시스템은 믹싱하는 동안 다양한 사운드 요소에 위치와 벡터 정보 등의 메타데 이터가 인코딩된다. 제조사마다 이 메타데이터를 7장에서 언급한(그리고 이 장에 서 더 상세히 논하는) HRTF 필터와 함께 활용해 표준 스테레오 헤드폰에 몰입형 서라운드 사 운드 효과를 전달해서, 가상 및 증강 현실 애플리케이션을 다양하게 직접 활 용할 길을 열어주는 독자적 방법을 개발했다.

  가수 폴 매카트니의 라이브 공연에서는 객체 기반 서라운드 사운드와 360도 입체 동영상 (구형 동영상이라고도 함)을 합쳐서 입체 헤드마운트 디스플레이와 헤드폰으로 최종적인 경험을 제공하고 있다. 디스플레이에 내장된 가속계로 머리 방향을 모니터링한 후 적절 히 시각과 청각 장면을 조정해, 사용자는 마치 직접 무대에 서는 것 처럼 좌우로 향하고 위아래를 볼 수도 있다.

  바이노럴 오디오(=Binaural audio)
  = 3D 사운드, 공간(화) 오디오, 혹은 공간 연계 스테레오포니 등으로도 불리는 바이노 럴 오디오는 두 귀의 자연스러운 음향 환경 인지 방법을 흉내 낸 사운드 녹음과 신디 사이징(오디오 신호 파형을 필터로 조작하여 음색을 합성하는 방식) 방법을 일컫는다.

  앞에서 논의한 사운드 재생 방법과는 달리, 바이노럴 오디오는 자연적인 귀의 공간화에 서 나온 효과(두 귀의 시차 및 강도 차이)등 7 장에서 논의한 위치측정단서와 함께 우 리의 상반신, 머리, 귓바퀴의 형태에서 빚어 지는 효과를 감안해 외이도에 진입하기 전 에 음파의 주파수 스펙트럼을 조정한다. 그 결과, 사운드 출처가 사용자 주변의 360도 반구 어디서든 나타날 수 있게 된다.

  사운드 엔지니어 윌리엄 B. 스노우는 스테레오와 바이노럴 사운드 간의 차이를 설명했 다. “바이노럴 시스템은 청취자의 두 귀에 원래의 씬을 전송하는 반면, 스테레오 시스템 은 사운드의 출처를 청취자가 있는 방으로 전달한다.”

  바이노럴 사운드는 녹음과 실시간 합성이라는 두 가지 주된 방법으로 가상 및 증강 현실 시스템과 애플리케이션에서 사용할 수 있다.

  결론 : AR 애플리케이션을 구현하는데 있어서 사용자의 구에 직접 씬을 전송하는 바이노 럴 사운드 접근법을 가능한 한 적극적으로 적용해야될 필요성을 알았다.

                                                       출처 - 실전 증강 현실(스티븐 옥스타칼니스 지음)