The Tolman-Eichenbaum Machine: Unifying Space and Relational Memory through Generalization in the Hippocampal Formation

직접적으로 연구와 관련이 있는 paper 는 아니지만 흥미로운 지점이 많아서 리뷰를 하려한다.
structural abstraction 과 sensory prediction 을 합하여 sensory binding 정정보로써 저장한다는 idea 를 기반으로 model 을 만들고 이 model 로 여러 상황에서의 simulation 결과를 실제 실험으로부터 얻은 neural data 와 비교하고 특히 remapping 과 관련해서 기존 관념과 다른 결과를 얻었다.

Introduction

동물은 sparse observation 과 new knowledge 를 빠르게 통합하여 complex inference 를 수행한다. Tolman 은 이런 과정이 cognitive map 이라 불리는 systematic organization of knowledge 를 통해 이루어진다 했고, Eichenbaum 은 hippocampus 는 non-spatial inference 에 대해서도 relational memory 라는 understanding the relationship or association 을 통해 기능을 수행한다고 주장하였다.

이 두 주장을 합하여 spatial & non-spatial problem 을 적절히 모델에 녹여내어 기존 존재하는 여러 모델과 다르게 rapid inference, generalization characteristic of hippocampal function in both spatial and relational memory 를 수행하는 것으르 보였고, 관찰된 여러 types of spatial representation 을 설명하고, different environment 에 따라 변하는 representation (remapping) 에 대해 새로운 발견을 수행하고자 하였다.

접근은 일반적인 Euclidean space 과 달리 structural abstraction 및 해당 structure 에 sensory observation 을 함께 녹여내는 task 를 캐스팅 함으로써 수행되었다. 예를 들면 가족관계가 될 수도 있고, A>B, B>C --> A>C 와 같은 structure 가 될 수도 있다. 이러한 abstraction 을 통해 새로운 데이터 structure 를 맞닥뜨렸을 때 rapid inference 를 수행할 수 있도록 해준다.

이런 structural generalization 과 관련하여 또 한가지 강조하는 점으로는 relationship between expereience 와 content of each experience 를 factorization 하는 것이다. 이러한 접근은 AI 와 Neuro 분야에서 모두 종종 언급되었고, 특히 factorization between sensory and spatial representation 은 lateral entorhinal cortices (LEC) 와 medial entorhinal cortices (MEC) 로부터 각각 존재함이 알려져있다. 그리고 이 두 정보의 conjunction 이 hippocampal representation 을 형성함도 주장되어 왔다.

이러한 접근 방식을 토대로 Tolman-Eichenbaum machine (TEM) 이라는 relationl memory system 을 설계하였고 이는 실험을 통해 structural knowledge in space and non-space 를 generalize 하고, predict a broade range of neuraonal representation observed in spatial and relational memory task 했으며, 기존 관찰된 hippocampus 와 entorhinal cortex 에서의 remapping phenomena 를 잘 설명하기도 하였다.

Results

Figure 내용을 간략하게만 짚고 넘어가려 한다. 자세한 논문은 내용을 참고하면 좋을 듯 하다.

The Tolman-Eichenbaum Machine

모델을 이해하는데 정말 오래걸렸다. STAR Method 와 코드를 함께 보면서 이해하는 것을 강력히 추천한다.

• TEM's abstract location representation as MEC (g)
• TEM's grounded variables (p) as hippocampal cells, HC
• TEM's sensory input (x) as LEC

먼저 g 는 map-like variable 로 abstract structure shared across environment 를 배우고, p, grounded conjuctive variable, 는 그 뒤 이 learned abstract structure 를 현재 상황에 구체화 시킨 (sensory input 을 합쳐서) memory 라고 부를 수 있는 정보를 담고 있다. 다시 말해 conjunction p 는 abstract location g 와 sensory experience x 를 엮고 있다. 하지만 (이라고 쓰여있지만 즉 이 좀 더 어울림) each abstract location 과 each sensory experience 는, 각각 p 를 re-instantiate 할 수 있다. 이는 attractor network 가 location-experience pair 를 계속 input 으로 받으면서 강화되고 학습되기 때문인데, 쉽게 말해서 g/x 쌍을 계속 학습시켜서 p 라는 grounded variable 사이의 관계 M (hebbian learning 에 의한 weight) 을 배우는 것이다. - Figure에서 graph 처럼 보이는 것이 attractor 이고 파란색 g 와 빨간색 x 가 섞인 p 간의 짙은 선이 M 으로써 정보가 처리되는 것이다.

이 기본적인 component 들 간의 관계를 기반으로, task 수행이 이루어진다. task 는 여러가지가 있다. social hierarchy 로 예를 두면, 여러 관련 데이터를 학습시키고 해당 구조에서 uncle 관계에 있는 사람의 얼굴을 예측하라는 문제를 푸는 것이다. 이는 generative model 과 inference model, attractor network, 그리고 위에서 언급했던, g, x, p 에 의해 이루어진다.

먼저 generative model 에서는 (설명했던 task 그대로) 어떤 action 이 왔을 때 sensory experience 를 예측하는 역할을 수행한다. 먼저 이전 g 정보와 a 정보가 함께 현재의 cognitive map 을 형성하고, 이 불완전한 cognitive map 을 attractor network 에 넣어서 수렴할 때 까지 돌리고, memory p 를 얻어낸다. 이 p 를 바탕으로 다시 sensory experience 를 prediction 하는 것이 이 generative model 의 역할이다.

그 뒤는 inference model 이 작동한다. 먼저 sensory observation 이 적당한 filtering 을 거쳐 다시 attractor 로 들어가서 관련된 p 라는 memory 를 retrieve 한다. 이 p 를 바탕으로 g 를 다시 infer 한다. (잘은 모르겠지만 이 과정은 optional 이라고 한다.) 또한 g 정보와 x 정보를 multiplication 해서 p 정보를 다시 만들어내고 (attractor network 의 도움 없이) 이 p 를 통해 memory 를 update 한다.

TEM generalize structural knowledge to novel sensory environments

먼저 TEM 모델을 classic non-spatial relational memory task 로 시험하였다. 그 결과 underlying structure 를 배우는 것을 성능을 통해 확인할 수 있었고, 특히 이러한 structure 를 암으로써 한번씩만 state 를 방문함으로써 entire relational structure 를 알 수 있도록 해주었다. (data efficiency & performance)

TEM represents structure with Grid Cells that generalize across environments

이제 학습된 network 의 representation 을 더 조사해보면서 이것이 hippocampus & entorhinal cortex 의 특성을 보이는지 확인하였다. 먼저 2D graph 공간에서 TEM agent 로 하여금 자유롭게 돌아다니게 하였고 그렇게 했을 때 g representation 이 grid cell (for hexagonal and equare environment) 과 rodent MEC band cells 의 representation 과 굉장히 닮아있었다.

특히 이러한 representation 은 서로 다른 environemt 에도 특성을 보존하며 generalize하는 특징을 보였다. Env1 과 Env2 에서 cell 이 같으면 같은 frequency 를 보였고 또한 correlation structure 도 보존됨을 확인하였다. 이는 environment size 에 agnostic 하는 경향도 보였고 이는 TEM 이 general representation of 2D space 를 학습했음을 암시한다.

TEM forms memories with Place Cell representations that remap across environment

같은 Figure 인데 특히 E 와 H 를 함께 보면, hippocampal cell 은 medial entorhinal cell 과 달리 generalize 하지 않았다. 서로 다른 환경에서 structure 를 공유함에도 불구하고 sensory object 는 완전 다르게 분포되어 있었다. H 를 보면 conjuctive 특성은 environment 에 따른 correlation structure 를 보존하는 것이 아니라 오히려 랜덤하게 relocate 한다는 것을 보였다. 이는 global remapping 이라는 현상으로 rodent hippocampal cell 에서 기존 연구들에서 보여졌다.

Diverse Entorhinal and Hippocampal Cell types form a basis for transition statistics

TEM agent 로 하여금 자유롭게 돌아다니도록 (diffuse) 했지만 실제 animal 은 diffuse 하기 보다는 일정한 behavioral paradigm 을 띄고 움직인다. 이러한 non-diffusive transition 을 적용하여 TEM 을 움직이도록 하였다.

그렇게 했더니 MEC(g) representation 에서 border cell 과 object vector cell 과 비슷한 property 가 발견되었다. 이 역시도 generalize 하는 특성을 보였는데, object 자체를 represent 하기 보다는 transition 과 관련해서 generalize 하는 특성을 보였다. (object 를 바꾸어도 변하지 않고, biased movement 가 포함되었을 때 일관된 변화과 확인되었음)

다만 hippocampal layer p 는 역시 object 가 변함에 따라 generalize 하지 않았다. structural representation 과 sensory data 의 conjuction 을 represent 했으며 이는 landmark cell 이라 보고되었던 rodent hippocampus 의 cell type 과 비슷한 특성을 보였다.

Structural Knowledge is preserved over apprently random hippocampal remapping

이 Figure 와 이 다음 Figure 가 이 논문에서 내게 가장 임팩트가 컸다. 기존 hippocamal remapping 은 random 하게 일어난다고 여겨졌지만, 이 TEM 을 활용한 관찰에서 remapping 이 완전 랜덤이 아니라 structural knowledge 를 보존한다는 것을 확인하였다.

이를 확인하기 위해 먼저 grid cell at the peak firing of each place cell peak (gridAtPlace) 점수를 측정하였다. 이를 각기 다른 environment 에 대해 측정하였고, environment 가 바뀔지라도 특정 grid cell이 특정 place cell 의 activation pattern 과 correlation 이 존재함을 확인하였다. 이는 두 개의 independent dataset (real data) 를 분석했을 때에도 동일하게 나타났고, 모델 예측과도 매우 유사한 관찰을 얻어내었다. 이런 관찰은 non-random place cell remapping in space 를 demonstrate 했으며, TEM model 의 핵심 주장인 hippocampal place cell 이 entorhinal grid 와의 관계를 보존하면서 structural inference 로써의 substrate 역할을 수행한다는 것을 뒷받침한다.

Remapping in a Non-spatial task

non-spatial task 에서도 동일한 패턴을 보임을 발견하였다. 먼저 이 관찰은 Sun et al. (2020) - 쥐가 원 모양의 트랙에서 4바퀴를 돌 때마다 보상을 받는 연구이다 - 에 기반을 둔다. 특정 hippocampal representation cell 은 place cell 처럼 작동했지만 다른 특정 cell 은 특정 바퀴를 돌 때만 강하게 반응하는 패턴을 보이거나, 아니면 바퀴수가 증가할 때마다 연속적으로 활성화가 변하는 패턴을 보였다. (lap-specific cell, lap-counting cell) (지금 발견한건데, real data 에는 MEC cell 데이터가 없는 것 같다.) TEM 또한 이러한 다양한 유형의 cell activation 을 잘 encoding 하는 것을 보여주었다. 뿐만 아니라 TEM 의 MEC cell 로부터도 non-spatial task related cell activation 이 확인되었다.

TEM 은 space & non-space 를 모두 represent 하기 때문에 저자는 non-spatial cell 의 remapping 과정에 대해서도 관찰하고자 하였다. TEM 이 말하길, MEC, LEC 에서 LEC 가 바뀌었을 때 HC cell 이 within lap 에서 peak 가 remap 되었다. 즉 spatial location 은 바뀌지만 non-spatial lap specificity 는 변하지 않았다. 이를 설명하고자 다시 기본으로 돌아가서 저자는 HC 이 MEC & LEC 두 input 을 모두 받아서 형성됨을 확인하고, 1) structural input is lap specific, 2) sensory observation are the same for each lap 이므로 lap specificy 를 보존했던 것이라 설명한다.

이를 quantify 하기 위해서, TEM representation 을 두개의 다른 sensorally different environment 에서 분석한다. 특히 each cell's lap preference 를 ESR (event specific rate) 를 통해 정량화 하는데, 이는 4-vector 로 각 lap 의 평균 activation 정보를 담고 있다 - 즉 within lap spatial selectivity 는 무시한다. 이 ESR correlation 을 각 environment 에 달리 수행함으로써 non-spatial activity in each cell 이 preserve 되는지 확인하고자 하였다.

그 결과, TEM 과 Sun 쥐 데이터 모두, ESR correlation 분포가 all lap preference 를 띄는 cell 에 (다른 cell 에 비해) significant 하게 높게 집중되어 있음을 확인했다. 와..

https://mr-for-example.medium.com/understand-the-tolman-eichenbaum-machine-tem-c8bf978b6141