오늘은 NLP를 공부하는 날이었습니다. 공부하며 많은 생각이 들어 적어봅니다.
99%는 헛소리니 걍 재미로만 읽어주세요 :)
의식은 언어없이 존재할 수 있을까?
왜 지금까지 나온 모든 인공지능 모델 중, 언어모델들이 인간과 가장 유사할까?
어쩌면, 인간의 의식을 구현하는 가장 기본적인 단위가 언어여서가 아닐까?
물론 언어로 구사할 수 없는 수많은 것들도 존재한다.
가장 먼저 떠오르는 건 이미지이다. 대부분의 사람은 머릿속으로 이미지를 떠올릴 수 있는 능력을 가지고 있다. 하지만 모든 인간이 이러한 능력을 가지고 있는 것은 아니다. Aphantasia 환자들은 머릿속으로 이미지를 상상할 수 없다. 하지만 IQ를 측정해본다거나, 이 사람들과의 간단한 대화만으로는 차이점을 알 수 없다. 즉, 이러한 환자들도 우리와 같거나, 거의 비슷한 의식을 가지고 있다. 따라서, 이미지의 구상은 물론 인간이 가질 수 있는 능력중 하나이지만, 필수적이라고 생각하지 않는다.
언어로 구사할 수 없는 또다른 것은 우리의 감각들이다. 냄세, 맛, 등등의 감각은 간단한 언어로 표현할 수 없다. 하지만 토큰화를 할 수 없다고 말할 수는 없다. 이는 감정도 마찬가지이다.
하지만 언어를 구사할 수 없는 인간도 있지 않는가?
당연히 청각에 문제가 있거나, 심각한 경우 청각과 시각 둘다에 문제가 있는 경우, 언어를 구사하기 힘들 수 있다. 하지만 이는 구사하기 힘들다는거지, 우리가 흔히 생각하는 "inner speech"가 없다는 것은 아니다. 그들이 남들과 소통하는 일종의 "언어"로, 자신의 자아를 유지한다.
정말 언어를 모르는 사람을 보려면, 동물들에게 키워지고 자란 케이스를 살펴보면 된다. 이들은 언어를 배우는데 어려움을 겪으며, 성인 수준의 자아를 가지고 있지 않아 보인다.
이러한 시각을 가지고 언어모델을 살펴보면 수많은 유사점을 찾을 수 있다.
일단 설명이 되는것이 정말 많다.
지능의 차이
인간과 다른 생물들이 왜 지능의 차이가 큰지도 생각해볼 수 있다. 그들은 언어모델의 관점에서, 임베딩 차원이 너무 작다. 임베딩 차원이 작으면, 많은 종류의 토큰을 임베딩할 수 없고, 따라서 표현 가능한 토큰의 개수도 작아진다.
Critical Period Hypothesis도, 어릴때만 임베딩 차원을 늘리는 식으로 두뇌가 발전할 수 있다고 가정하면, 모두 설명이 된다.
언어의 차이에도 불구한 인간 지능의 유사성
완전히 다른 언어를 구사하는 사람들도 결국 생각하는 방식은 거의 동일하다. 비슷한 문제를 해결할 수 있고, 비슷한 생각의 흐름을 가질 수 있다. 이는 embedding을 하는 함수는 다르더라도, 결국 함수들의 결과의 차원은 비슷하기에, 비슷한 방식으로 사고를 하는 것이라 생각할 수 있다.
이런식으로 생각하면, 외계인이 아무리 다른 방식으로 진화했더라도, 인간과 비슷한 사고방식을 가졌을것이란 생각을 해볼 수 있다.
LLM의 Hallucination과 수면
LLM들은 너무 많은 토큰을 한번에 생성하려고 하면 Hallucination을 하기 시작한다. 이는 인간도 마찬가지이다. 수면으로 단기기억에 들어간 정보를 장기기억으로 옮겨주는 행위를 하지 않으면, 일정 시간후에는 사고력 감소부터 시작해서 환각까지 보게 된다. 뇌가소성 이론에 의하면 이 시간이 뉴런이 새로운 연결을 형성할때라고 한다. 마찬가지로 LLM도 일정 시간마다 토큰 생성을 멈추고, 새로운 정보를 훈련시킴으로써 Hallucination 현상을 해결할 수 있지 않을까.
인공지능의 발전
만약 이런 생각들이 옳다면 가장 무서운것은 AGI가 개발되기까지는 정말로 시간문제라는 것이다.
보통 인간의 뇌는 10^16 FLOPS 정도의 계산을 한다고 생각된다. 반면에, Nvidia의 Blackwell 서버랙 하나는 1.4 exaFLOPS, 다른말로 10^18 이상의 계산량을 가지고 있다.
물론 둘의 비교는 거의 불가능하지만, 이미 인간의 뇌의 계산량보다 몇 order of magnitude가 더 크다. 즉, 이대로 계속 훈련량이 늘어나기만 한다면 결국은 AGI가 개발될 예정이라고 생각할 수 있다.
이는 먼 미래의 얘기도 아니다. 지금 현재 기술을 바탕으로도 충분히 구현 가능하다고 생각한다.
