단어의 뜻을 알아차리는 과정 (Word Perception)

망막에 단어의 형태라는 특정 자극이 제시되면 "bottom-up" 과정을 통해 단어의 원초적인 인식이 시작되고, 완성되지 않은 단어의 형태이지만, 이를 활용하여 기억되어 있던 데이터를 찾아내어 "top-down" 과정을 거쳐 완전한 단어로 인식(perceptual processing)하게 됩니다. 즉, 사람들은 매우 짧은 순간에 bottom-up과 top-down 과정을 거의 동시에 경험하면서 단어를 인식하게 됩니다. 이때 top-down 과정도 bottom-up 과정에서 시작된다는점을 잊지 않아야 합니다.

단위화를 통한 시간 절약

단위화란 여러개로 나누어진 것을 합쳐서 하나의 단위로 인식한다는 것입니다. 즉, 여러 개의 정보들을 단위화 과정을 통해 의미 있는 하나의 통합된 정보로 인식하는 현상입니다. 단위화 이론에 따르면, 단어는 단순한 알파벳의 합이 아닌 또 다른 구체적이거나 추상적인 의미로 인식되어집니다. 이 단위화는 단어가 자주 사용되거나, 특정한 의미와 연결되는 일이 지속적으로 발생될 때 나타납니다. 이러한 자동성은 정보를 빨리 처리하게 하는 장점도 있지만, 부정확성을 초래하기도 합니다. 예를 들어 보겠습니다. "and"나 "the"같은 단어는 매우 자주 나오기 때문에 단어를 인식할 때 자모의 조합을 일일이 확인하지 않고, 전체적인 형태를 보고 문장을 연결하거나, 특정 단위를 지칭하는 기능적 단위로 인식합니다. 이 경우 "and"를 "anl"로 스펠링을 잘못 기재하더라도 오타를 찾기 어렵습니다. 단위화 과정을 통해서 이미 개개의 스펠링을 보지 않기 때문입니다. 조금 다른 형태의 단위화도 있습니다. 의미와 형태가 섞여서 상징으로 단위화되는 경우입니다. 예로 머릿글자나 약어의 경우 입니다. 이때는 파편화된 자모를 통해 장소나 뜻, 카테고리 등을 인식하게 됩니다. 예를 들면, NY, mph, corp, MR. 와 같이 자모를 보면 바로 의미가 연상됩니다. 이러한 과정은 약어를 사용하는 사람들 간에는 소통을 원활하게 도와주는 면이 있는 반면, 단위화 과정을 겪지 않은 대상에게는 모호성으로 인해 소통이 어렵게 할 수 있으므로 시의적절하게 상요하는것이 중요합니다.

Context-Data Trade-Offs의 이해

Context란 전달하고자 하는 단어나 주제를 이해할 수 있도록 도와주는 주변 상황 또는 문맥을 의미합니다. 특히 Top-down Processing을 할 때는 이러한 주변 상황이나 문맥에 대해 알고 있는 것이 큰 도움을 줍니다. Context의 중요한 역할은 송신자가 코딩한 내용을 수신자가 디코딩하는 과정에서의 오류를 줄여줍니다. 만일 Context가 과거 시점에 충분히 제공되어있는 상태라면, 소통에 필요한 Data가 미흡하더라도, COntext를 회상하면서, top-down processing을 통해 의미를 유추하여, Data의 의미를 이해할 수 있습니다. 오랜 친구끼리 말이 잘 통하는 이유입니다.

이러한 Context와 Data간의 관계를 이론적으로 설명한 것이 Context-Data Trade-Off 입니다. 이것은 언어적 소통과정에서 글자의 수가 적으면 단어 하나하나의 의미에 무게가 실리고, 반대로 문장이 길어지면 전체적인 맥락이 더 잘 던달된다는 것입니다. 그러므로 최적의 의사 전달을 위해서는 최적의 단어 사용량을 결정하는 것이 중요합니다. 이 때도, 정보 전달을 받는 사람이 top-down processing을 선호하는지 bottom-up processing을 선호하는지에 따라 단어 사용량의 최적점은 다소 달라질 수 있습니다.

적정 전달도구 사용

글은 추상적인 정보나 행위의 내용을 전달하는 데 유리합니다. 반면에 그림은 공간 개념이 포함된 복잡한 개념을 전달하는 데 유리합니다. 그러므로 내용의 종류에 따라 적절한 전달 도구를 사용하는 것이 효율적인 의사 전달을 위해 매우 필요합니다. 다른 한편으로는, 전달하려는 내용이 매우 복잡한 경우, 글이 말보다 더 효과적입니다. 왜냐하면 긴 speech를 듣고 중요한 내용을 용량이 적은 작업 기억에 저장하면서 따라가기가 어렵기 때문입니다. 그래서 좀 복잡한 내용을 이해하기 위해서는 그냥 말로만 듣는 것보다, 스스로 글을 읽으면서 이해하는 것이 더 효과적입니다.

중복효과 활용(Redundancy Gain)

외부의 정보가 사람에게 입력되는 통로를 채널이라고 부릅니다. 사람에게는 시각, 청각, 촉각, 후각, 미각 채널이 있습니다. 한개의 채널로는 한 가지 모드의 정보가 입력됩니다. 그러나 2개 이상의 채널을 사용하면 동시에 2개 이상의 모드가 제공된 상태로 정보 입력이 가능해집니다. 예로 구급차에서 반짝거리는 경광등과 사이렌 소리를 동시에 보고 들을 때, 위급함을 분명하게 알아차리는 경우입니다. 이 때 시각과 청각에 전달된 위험 신호가 상호 충돌하지 않고 시너지 효과를 일으켰다면, 중복 효과를 보았다고 할 수 있습니다.

그리고, 아이들이 동화책을 읽을 때, 소리와 그림을 동시에 사용하면, 글과 그림을 동시에 보여주는 것보다 더 효과적입니다. 다양한 모드를 사용하는 경우, 한 채널 보다 두 채널을 사용하는 중복효과가 더 효과적인 것을 알 수 있습니다. 다른 예로, 단일 모드 상태이지만 이를 중복적으로 사용하는 경우, 정보 전달의 안전성을 증대되기도 합니다. 편지에서 주소와 우편번호를 동시에 사용하는 것은 단일 모달리티를 중복 사용하여 배달 안정성을 증가시키는 대표적인 예입니다. 그러나 다른 예로, 운전 중에 시각과 청각으로 동시에 정보가 제공되는 경우, 두 정보간에 예상치 않은 상호작용이 일어나서, 신호의 의미가 혼란스러워질 수도 있습니다. 이 경우에는 중복효과를 기대할 수 없습니다.

Imbodied Intelligence: 어린아이가 보고, 만지고, 듣고, 부딪히면서 주변 사물과의 관계를 학습하듯이, AI가 로봇이라는 몸을 가지고 Multimodal data를 학습하기 시작하면, 사람이 유사한 정보를 공유하게 됨.

AI학습 효율성 증대: 현실 상황 이해 능력 증대, 사물에 대한 학습 효율성 증대, 물리적 행동 지능증대

사람같은 생각의 구조로 진화 유리: 멀티 모달을 사용한 개념 형성의 용이성, 모드 간 교차 학습 가능

Cross-modality: 2가지 이상의 다른 type의 정보를 동시에 취득하였을 때 상호 혼란없이 유용한 정보로 사용하는 것을 의미함.

시각 정보와 청각 정보가 동시에 경고음으로 주어지는 경우, 신호 간에 인지적 충돌이 일어날 수도 있고, 정보의 빈도와 내용에 따라 중요도의 우선순위가 바뀔 수도 있어, 상황에 따른 정교한 설계가 필요하다. 예)운전 중 차량 주행 중, 시각적 경고와 청각적 경고가 다른 강도로 어긋난 시점에 울리면 혼란스러울 수 있음

즉, Multi-modality를 사용하는 경우 Cross-modality가 안전하게 이루어지는지를 확인하는 것이 필요하다.

단순 정보의 경우 정보를 동일 modality에서라도 중복 또는 반복적으로 사용하는 것은 정보 전달의 security를 증가 시키기도 하고 기존 정보의 강도를 강화시키기도 한다. 예) 편지의 주소와 우편번호 (동일 modality)