https://research.google/blog/a-connectomics-milestone-mapping-the-complete-male-fruit-fly-brain/
CNS=Central Nervous System (중추신경계) 를 Doom 게임 에이전트로 학습시킨 사례가 흥미로워 조사해 보았다.
개발자들이 사용한 maleCNS v1.0은 일종의 그래프 구조로, 실제 male fruit fly의 커넥톰을 전산화한 것이다.
maleCNS는 어느 면에서는 pretrain된 LLM모델로 비유할 수 있다.
학습 가능한 추상화된 세부 구조가 반복되어 있고, 이미 내부적인 파라미터가 존재하여 기본적으로 기능할 수 있다.
또한 학습을 통해 특정 환경에서의 성능이 개선될 것이라고 기대할 수 있다.
하지만 본질적으로 이것은 기존 GPU 생태계에서의 AI 모델과 다르다.
SNN이라는 방식을 사용하는데, 이 방식은 sparse하며, GPU의 병렬 연산과 '효율적으로' 호환되지 않는다.
그래서 Doom 사례에서는 cuda 등이 전혀 사용되지 않고 cpp 런타임만을 사용해 직렬적으로 학습되었다.
이제 관련된 여러 가설들을 알아보자.
GPU 생태계 외의 방식이므로 간단하게 알아보자.
- SNN: potentially better when the world itself is sparse and temporal
- irregular, sparse, and asynchronous.
- energy/latency 면에서 장점이 있다고 한다.
- Connectome-based systems have a different possible advantage: inductive bias
https://www.nature.com/articles/s41586-024-07939-3
-
used Drosophila visual connectome
-
BUT they still used Adam/gradient optimization.
-
it reproduced biological neural responses surprisingly well.
-
sparse biological wiring strongly constrained the space of possible solutions.
https://arxiv.org/pdf/2602.17997
(a preprint rather than something I'd treat as established fact.)
- the connectome-structured controller had better sample efficiency and performance than degree-preserving rewired graphs, random graphs, and MLP baselines.
- Another interesting possibility: continual learning
-
Modern NNs have the stability–plasticity problem
-
Biological systems are remarkably good at continuously updating behavior without full retraining.
-
That's surprisingly similar to ideas we already use in modern ML
나의 생각: I think such approaches would have clear meanings or better results in a holistic situation than a typical benchmark-maxxing where it needs to compete with transformer-packed architecture plus tons of GPU running. I mean energy consumption and other values like preventing Catastrophic forgetting should be the objective to have strength over others
그래서 이와 관련한 논문들을 찾아보았다.
- Forgetting, Ignorance or Myopia: Revisiting Key
Challenges in Online Continual Learnin (NeurIPS 2024)
이거 흥미롭다 초록이 잘 읽힌다.
- On-Device Self-Supervised Learning of Low-Latency Monocular Depth from Only Events (CVPR 2025)
