Transferring structural knowledge across cognitive maps in humans and models

cognitive map 을 학습하고 이용하는 과정에서 abstract structural knowledge 를 추출하고 이를 다른 task 에 transfer 한다는 것을 모델링, 행동 실험 결과로 보인 논문이다. 구체적으로 두 가지 graph structure (hexogon, community) 를 사용하여 graph learning task 를 활용하고 있고, structure 를 명시적으로 배우지 않는 associative model 과, 논문에서 제안하는 structural knowledge 를 활용하는 model 사이의 학습/성능 차이를 강조하고 있다.

Method

Task design

먼저 task 에서 두가지 그래프 구조를 사용한다.

• hexagonal structure
• community structure
  각 노드는 하나의 sensory stimulus image 에 대응되고, connection 은 이미지 간 transition probability 를 나타낸다.

참가자는 두 그룹으로 나뉘어 그룹마다 각 그래프 구조에 따른 두가지 이미지 세트에 대해 학습하고 다음날 똑같은 (혹은 다른) 구조의 새로운 이미지 세트에 대한 test 를 수행한다. 이 때 test 는 다음과 같은 task 를 담고 있다.

• 주어진 sequence 에 특정 이미지를 추가할 수 있는가
• 두 이미지 사이에 특정 이미지가 들어갈 수 있는가
• 시작 이미지로부터 끝 이미지까지 최소 거리로 이동하는 태스크
• 두 이미지 중 목표 이미지에 뭐가 더 가까운지 판단하라는 태스크

Associative representation

논문에서 graph 를 배우고 cognitive map 을 형성하는 과정 중 크게 두가지를 언급한다. 하나는 이 associative representation 이다. 이 방법은 stimulus 들과 그들의 relationship 을 conjuctive 하게 representation 한 것을 학습한다. 즉 relationship between the stimuli 는 stimuli themselves 의 representation 간의 associations 로 인코딩 된다. (아래 사진의 왼쪽)

이것의 예시가 SR (successor representation) 이다. 여기는 각 state 의 representation 이 또 다른 state 로 닿을 representation 까지의 확률로 인코딩 된다. (adjacency matrix 인데 각 연결이 확률인 matrix)

Inferring and transferring graph structure

이것과 구분되는 것 중 하나는 cognitive map, 즉 graph 의 structure 에 따라서 서로 다른 representation 을 사용하는 것이다. (위 그림에서 오른쪽) 사실 이 방법 자체가 처음 들었을 때는 뭐가 다른거지? 싶었는데, 아래 basis sets 와 candidate basis set 을 보면 이해가 된다. 논문의 순서를 좀 바꿔서 설명하겠다.

Basis sets definition

두가지 구조의 그래프를 사용한다고 했는데 이 그래프 구조를 prior 로 가진, 즉 그래프 구조에 따라 representation 형성 방식 자체를 달리 하는 generative model 을 모델로 사용하였다. 구체적으로 hexagonal structure graph representation 은 transition matrix 의 eigenvectors 를 활용해서 표현하고자 하였고, community structure graph representation 의 경우에는, community assignment vectors 와 "connecting nodes assignment vectors" 를 concat 해서 matrix 를 표현했다.

Results

위에서, 논문에서 제안한 기본적인 human experiment task 설명과 이를 simulation 하기 위한 modeling 방식을 설명하였다. 간략하게 적었는데 핵심은, Bayesian (HMM) 을 활용해서 prior 로 graph structure 를 받도록 하였고, 두가지 graph structure 에 따라 structure representation 을 달리 한다는 것이다.

Inferring unobserved trajectories

associative learning 과 HMM 간의 성능 차이를 비교하기 위해 조금은 다른 task design 를 도입하였다. 일반적인 random walk 방법과는 다르게 pseudo-random sampling 방식을 사용한 random walk 방식을 사용하였는데, 이는 일부러 몇몇 image stimulus pair (edge) 를 안보여주고 학습하게 한 뒤, 보여주지 않았던 edge 를 알아서 추정에 활용하여 task 를 잘 이행하는지를 보았다. (아래 a 의 붉은색 안 보여줌)

이렇게 했을 때 기존 SR 방식들 (associative learning - 그림에서 b) 은 제안한 structure prior 를 활용하는 모델 - 그림에서 d 에 비해 학습을 제대로 수행하지 못했다. 특히 d 에서 hexagonal structure inference 임에도 prior 를 임의로 조작해 community 형태의 structure 로 학습한 경우에는 성능이 매우 낮게 나왔다.

b 에서 눈에 띄는 SRreg 는 hippocampus as a predictive map 에서 소개된 내용인데, laplacian map 의 eigenvector/eigenvalue 를 구해서, 높은 eigenvalue 성분만 남기고 낮은 eigenvalue (high frequency) 성분을 날려서 조금 더 robust 하게 학습하는 방법이다. 이 SRreg 는 꽤나 좋은 성능을 보여주었다.

Humans infer unobserved trajectories

사람 실험에서도 hexagonal structure 의 graph learning task 에 대해 structure knowledge 를 바꿨을 때, 제대로 prior 가 들어갔을 때의 결과를 비교했을 때, 마찬가지의 경향성을 보였다.

Using structural knowledge to set advantagenous policies

community structure 의 graph learning task 에 대해서도 유사한 결과를 보였고, 그에 더하여 policy 에 대한 내용도 등장한다. community structure 의 경우 보이지 않는 transition 을 추론하기 위해서, 유리한 policy - connecting node 를 선택하는 policy 를 보이는 경향이 있는데, 이는 agent 가 추론 과정에서 한 번 community 에 들어가면 빠져나오는데에 오랜시간이 걸리기에 나오는 policy 이다. 이를 measure 한 결과도 담고 있다.

먼저 모델이 추론한 community number 를 추론하는 과정에서 일부러 다른 prior 를 주었을 때 결과가 다르게 나왔다. 또, 이와 별개로 'prefer connecting nodes' 라는 policy 를 measure 하기 위해 비율 상 connecting node 의 선호도를 측정했고, 올바른 structural prior 를 가진 그룹에서 더 자주 선택함을 확인하였다. 또한 시간도 빨랐다.