소리의 신호와 3D 위치 측정
소리의 신호와 3D 위치 측정
사람의 두뇌는 상당히 정확하게 환경 내에 있는 소리의 출처가 어디인지 확인할 수 있다. 신경과학자는 이를 능력 위치 측정이라고 부른다. 이 능력의 핵심은 공간적으로 분리된 두 귀, 우아한 내이의 변환기 및 감각 수용체와 더불어 두뇌의 강력한 인지 중추가 유입되는 음향 신호를 분석한다는 점이다. 청력이 있는 동물 대부분이 이런 능력이 있지만, 정확도는 매우 다양하다. 예를 들어 부엉이는 뛰어난 소리의 위치 측정 능력을 자랑하고, 코끼리, 고양이, 쥐도 마찬가지다. 반대로 말, 소, 염소는 이쪽 능력이 형편없다.
사람에게 정확한 소리의 위치 측정은 놀라운 수준의 풍부한 공간 인지 능력과 안전을 보장해준다. 열대우림의 소리부터 아이가 어디에서 노는지 부모가 알아챌 수 있는 능력, 어두운 밤에 적이 접근하는 기척을 듣는 병사의 능력까지, 청각의 이 측면은 환경의 특별한 세부 수준을 드러낸다.
소리 단서
연구원들은 사람의 두뇌가 환경에서 소리출처의 공간적 위치를 확인할 때 사용하는 '세 주요 '단서'인 두 귀의 시차(JTD), 두 귀의 강도차(JID), 스펙트럼 단서를 알아냈다. 이 현상에 대해 설명하기 위해 우리는 방위(수평면에서 정면의 좌우는 방위 0도에서 정확히 전면으로 시작해, 90도는 우측, 180도는 완전 후면이다.), 앙각(수평면에서 위아래 각도), 거리라는 세 가지 요소를 기반으로 흔한 반구형 좌표체계를 사용하겠다. 이 좌표체계는 아래 그림을 참고하자.
방위 단서
이 두 가지 주요 소리 출처는 수평면에서 소리의 위치를 판단할 때 가장 효과적이다.
두 귀의 시차 = 두 귀에 소리가 도달하는 시간차(그림이 이해가 잘 됨)
모든 소리는 주파수와 상관없이 공통의 매체에서는 같은 속도로 진행한다. 소리가 그림 에서 묘사한 중앙면 양쪽으로부터 머리에 도달할 때, 귀마다 소리의 이동 경로는 길이 차이가 난다. 달리 말해, 소리는 한쪽 귀보다 다른 귀에 먼저 도달한다. 가장 큰 ITD는 소리 출처가 듣는 사람 머리의 왼쪽이나 오른쪽 바로 옆에 있을 때 경험할 수 있다.
참고)음속이 해수면에서 ~340m/s일 때, 성인의 평균 머리 너비를 소리가 나아가는데는 약 0.6ms가 걸린다.
소리의 출처가 앞, 뒤, 위, 아래에 바로 있을 때(즉 중앙면의 어디서든), 두 귀의 시차는 0이며 직접적 정보 추출이 없다는 뜻임을 알아두자.
-> 시차가 없으면 정보도 없다!
두 귀의 강도 차이 = 두 귀에 들리는 소리의 강도 차이
(그림이 시차 그림과 같은데 맥락은 이해 됨)
소리가 듣는 사람의 바로 앞이나 뒤에서 들릴 때, 그 강도는 두 귀에서 같다. 하지만 소리가 측면에서 올 때 느껴지는 강도는 귀마다 조금 달라진다. 여기에는 여러 요인이 작용한다. 일단 소리의 이동 거리가 각각 다른데, 소리의 강도는 거리가 멀수록 줄어든다. 둘째, 음파와 그 형태에 머리가 간섭을 일으키는데, 이것을 먼 귀 쪽의 음영이라고 한다.
이 현상은 주파수가 높은 소리에서 가장 흔하게 나타나는데, 음파에 파장이 부족해서 머리가 이를 효과적으로 차단하기 때문이다.저주파의 소리(<1,500Hz)는 성인 머리의 평균 너비보다 파장이 길다. 이 파동은 효율적으로 머리 주변에서 구부러져(굴절) 음영을 만들어내지 않는다.어떤 관점에서는 공기 중으로 이동하는 100Hz의 파동 길이 3미터 이상이라는 점도 고려할 필요가 있다. 공기 중으로 이동하는 1,500Hz의 파동은 약 200cm다.
혼돈의 원뿔
두뇌가 신속하게 다양한 도달 시간과 소리의 강도를 확인할 수 있음에도 불구하고, 여전히 소리가 앞에서 오는지 뒤에서 오는지 확인하기 어려운 상황이 있다. 머리의 왼쪽과 오른쪽에는 소리의 출처가 동일한 ITD, IID가 되는 위치가 있기 때문이다. 이것을 혼돈의 원뿔이라고 한다.
앙각 단서
머리 중앙선을 따라 어디서든 소리 출처의 앙각을 판단하려면 더 정교한 처리가 필요 하다. 도달 시간과 강도에 변화가 없기 때문이다. 여기에서 소리의 세 번째 중요한 단서가 나온다.
사운드 엔지니어들이 머리 전달 함수라고 부르는 귓바퀴 확산 단서는 머리와 어깨, 그리고 외이, 즉 귓바퀴의 곡선과 도관의 크기 및 형태에서 기인한 소리의 주파수 프로필 변화를 뜻한다.
7장의 앞부분에서 논한 대로, 귓바퀴의 물리적 형태는 특정 주파수를 증폭하고 어떤 주파수는 경감 시켜, 사실상 주파수 스펙트럼의 형태를 바꾼다. 두 귀의 축을 따라 서로 다른 지점에 도달하는 소리의 차이와는 달리, 이렇게 외이의 고유한 형태에 대한 의존성은 모노 음향 단서가 된다. 신경과학자는 뇌의 청각중추 속 신경이 이런 스펙트럼 변화에 따라 조절된다는 사실을 발견했다
기타 단서
앞에서 논한 주요 음향 단서 외에, 과학자들은 전반적인 소리의 위치 측정에 기여하는 여러 다른 현상도 확인했다.
경감, 혹은 소리의 강도 감소 역시 소리의 위치 측정을 도울 수 있는데, 공기 속에서 는 고주파가 저주파보다 더 빨리 둔화되기 때문이다. 따라서 소리가 약하게 들리는 것은 먼 거리라는 뜻일 있다. 반대로 비슷한 소리가 고주파로 들릴 때는 출처가 더 가깝다는 뜻일 수 있다. 반향 수준 역시 반향 에너지가 시간을 두고 커지므로 소리가 들려오는 초기 동안 상대적으로 충실히 소리의 위치 측정을 도울 수 있지만, 이 자극 은 시간이 지날수록 점차 약해진다.
도플러 변화는 특히 듣는 사람을 향하거나, 그 사람으로부터 멀어지는 소리의 출처에 중요하다. 소리 출처의 이런 이동은 더 높은 음과 낮은 음 사이의 스펙트럼 전환을 낳아(혹은 낮은 음에서 높은 음으로), 듣는 사람에게 소리의 출처가 이후 어디로 갈지에 대한 추가 정보를 제공한다.
머리의 움직임은 소리의 위치 측정 정확성을 향상하는 것이 증명됐는데, 특히 앞에서 설명했듯이 소리의 출처가 중앙면을 따라서 나 혼돈의 원뿔에 위치하는 상황에서 두드러진다.
전정계
청각에 기여하지는 않지만, 전정계는 선형과 각 가속도, 그리고 머리의 정적인 위치를 감지한다. 아래 그림처럼 세 반고리관이 서로 직각으로 위치해 세 공간면의 운동을 감지한다.
각 도관은 림프액으로 가득한 고리 형태인데, 각각의 기저를 '팽대부'라고 한다. 팽대부에는 운동에 극히 민감한 섬모 세포 다발이 하나 있다. 머리가 삼차원에서 움 직일 때 도관 속의 림프액은 섬모 세포를 자극하는데, 이 세포는 다시 신경화학 프로 세스를 거쳐 전기 자극을 낳는다. 이 자극은 전정달팽이 신경을 따라 뇌간, 소뇌, 척수의 시냅스에 전달된다.
두 번째 감각 기관인 난형낭과 구형낭은 평형사라는 칼슘 탄소결정으로 덮인 작은 모낭 세포 조각이다. 이 조각들은 서로 적당한 각도에 위치해서 선형 가속을 감지한다.
머리의 어디에든 중력이 작용하므로, 평형사의 무게 때문에 두 조각 중 하나는 섬모가 구부러진다. 이렇게 구부러지면 신경화학 프로세스가 촉발돼, 뇌간으로 신경 자극이 전달된다.
난형낭과 구형낭은 중력에 대해 수직 방향을 유지할 수 있도록 하는 것이 주된 기능이다. 머리와 몸이 기울기 시작하면 이 감각 기관에서 신호를 줘서 자동으로 자세 조정을 촉발한다.
이 기관은 기능적으로 다른 쪽 귀의 감각 기관과 쌍을 이루고, 긴밀히 결합된 방식으로 작동한다는 점을 기억해두자. 내림프액의 심각한 감염이나 그에 따른 내이 손상 등으로 이 기관의 정보가 모순을 일으키면 종종 심각한 현기증과 구토를 유발한다.
마찬가지로 전정계는 눈과 긴밀히 결합돼 기능한다. 사실 전정계의 주된 기능은 머리 가 움직일때 안구를 안정적으로 유지하는 것이다. 그래서 걷거나 달릴 때처럼 머리를 돌리거나 위아래로 움직일 때 물체나 공간 내의 한 지점에 고정된 상태를 유지할 수 있다.
전정계에서 나온 감각 정보는 눈에서 나온 시각 신호와도 긴밀히 연결된다. 상응하는 내이의 단서가 결여된 상태로 정말 움직이는 것 같은 시각적 감각을 주는 일부 가상 현실 시뮬레이션처럼 시각 신호가 전정계의 신호와 모순될 때는 시각에서 유발된 멀미VIMS가 생길 수 있다.(빌딩 옥상 사이를 걷는 VR게임 같은걸 하면 멀미가 나는 이유임)
결론
여태까지 우리가 공부한 내용은 소리의 일부 기본 속성, 귀가 음향 에너지를 신경 자극으로 변환하는 과정, 환경에서 소리 출처의 위치를 판단하려고 두뇌가 신호에서 추출하는 주요 단서 등을 알아봤다.
출처 - 실전 증강 현실(스티븐 옥스타칼니스 지음)