Reinforcement Learning Conference (RLC) 2026: pre-RLC 참여 후기
Reinforcement Learning Conference(RLC)가 어제부터 시작되었습니다.
올해 RLC 2026은 캐나다 몬트리올의 Université de Montréal에서 열리는데요. 오늘은 어제 진행된 pre-RLC workshop에 참여한 후기를 간단하게 공유드리고자 합니다.
Reinforcement Learning Conference(RLC)란?
먼저 RLC가 어떤 컨퍼런스인지 간단하게 소개해보겠습니다.
RLC는 이름 그대로 Reinforcement Learning(RL), 즉 강화학습에 집중하는 학회입니다.
NeurIPS, ICML, ICLR과 같은 대규모 머신러닝 학회에서도 강화학습 연구가 활발하게 발표되고 있지만, 워낙 다양한 머신러닝 분야를 함께 다루다 보니 강화학습 연구자들이 하나의 주제를 중심으로 깊이 있게 이야기할 수 있는 자리는 상대적으로 제한적입니다.
RLC는 이러한 배경에서 강화학습 연구자들이 보다 집중된 환경에서 서로의 연구를 공유하고 논의할 수 있는 장을 만드는 것을 목표로 하고 있습니다. 올해로 세 번째 개최되는 비교적 젊은 학회이지만, RL이라는 하나의 분야에 집중한다는 점에서 개인적으로도 무척 궁금했던 컨퍼런스였습니다.
그리고 본격적인 RLC가 시작되기 하루 전, 몬트리올에 먼저 모인 RL 연구자들을 위한 작은(?) 사전 행사가 하나 열렸습니다.
Pre-RLC
RLC 참석을 위해 몬트리올을 방문한 연구자들과 로컬 연구자들이 모여 하루 동안 RLC를 위해 몬트리올을 찾은 연구자들과 로컬 연구자들이 모여 robotics, world models, agent memory, scalable reinforcement learning 등 다양한 주제의 발표와 이야기를 나누는 자리였습니다.
발표들을 들으면서 느낀 점은, 세부적인 연구 주제는 모두 달랐지만 결국에는
“Agent가 복잡한 실제 환경에서 어떻게 학습하고, 기억하고, 적응하며, 더 나은 의사결정을 할 수 있을까?”
라는 질문으로 연결된다는 점이었습니다.
Hierarchy를 어떻게 학습할 수 있을까?
Switching Successor Measures for Hierarchical Zero-shot Reinforcement Learning
첫 번째로 기억에 남았던 주제는 hierarchical reinforcement learning과 successor representation을 연결한 연구였습니다.
긴 horizon의 task에서는 agent가 매 step의 action을 직접 결정하는 것보다,
“먼저 어디로 가야 하지?” → “그곳에는 어떻게 가지?”
처럼 문제를 여러 단계로 나누는 hierarchy가 유용합니다.
이 연구에서는 기존의 successor measure를 확장한 Switching Successor Measures를 제안하고, 이를 통해 별도의 manually designed subgoal이나 fixed horizon 없이도 hierarchy를 만들어내는 방법을 다뤘습니다.
구체적으로는 Forward-Backward(FB) representation으로부터
- high-level에서는 어떤 subgoal을 선택할지 결정하고
- low-level에서는 실제로 해당 subgoal을 향해 움직이는 policy를 구성합니다.
흥미로웠던 점은 goal-conditioned task에만 한정된 hierarchy가 아니라, 보다 일반적인 reward function을 가진 zero-shot RL까지 hierarchy를 확장하려는 시도라는 점이었습니다.
Multi-Agent에서는 언제 소통해야 할까?
이어진 lightning talk 중에는 여러 robot이 함께 환경을 탐색하는 multi-agent exploration 연구도 있었습니다. 여러 agent가 아직 알려지지 않은 공간을 탐색하면서 각각 자신만의 map을 만들어갑니다. 이때 agent는 매 순간 계속 혼자 탐색할 것인지, 다른 agent와 만나 서로의 map 정보를 공유할 것인지 결정해야 합니다.
무조건 자주 communication한다고 좋은 것은 아닙니다.
두 agent가 이미 비슷한 지역을 탐색했다면 map을 공유해도 얻는 새로운 정보가 거의 없기 때문입니다. 반대로 너무 오랫동안 communication하지 않으면 여러 agent가 같은 지역을 중복해서 탐색할 수도 있습니다.
따라서 이 연구에서는 주변 obstacle, 아직 탐색되지 않은 frontier의 분포, 주변 agent의 정보 등을 observation으로 사용해 exploration과 communication을 decentralized하게 선택하도록 학습했습니다.
Reward에도 communication과 관련된 항을 추가했는데, 실험 결과 불필요한 communication은 줄이면서 실제로 새로운 정보를 얻을 수 있을 때 communication하는 behavior를 학습할 수 있었다고 합니다. Simulation에서 학습한 policy를 실제 robot에도 적용했을 때 비슷한 경향이 나타났다는 점도 흥미로웠습니다.
LLM agent에서도 multi-agent system을 구성하면 결국 비슷한 질문이 생기는데요.
“Agent끼리 언제 정보를 공유해야 하는가?”
라는 communication 자체가 하나의 action이 된다는 점이 재미있었습니다.
Stable and Scalable Deep RL — Clare Lyle
마지막으로 Clare Lyle의 발표에서는 조금 더 현실적인(?) 질문을 다뤘습니다.
“Deep RL을 어떻게 하면 hyperparameter tuning 지옥에 빠지지 않고 stable하고 scalable하게 학습할 수 있을까?” 였습니다.
Supervised learning에서는 보통 잘 정리된 dataset과 objective가 있고, 적절한 architecture와 optimizer를 사용하면 loss가 어느 정도 예측 가능하게 감소합니다.
하지만 RL에서는 agent가 자기가 앞으로 학습할 data까지 직접 수집해야 합니다.
따라서
- 어떤 data를 수집할 것인가,
- 그 data를 보고 어떤 behavior를 더 많이 할 것인가,
- 실제 neural network parameter를 어떻게 update할 것인가
라는 여러 optimization 문제가 동시에 얽혀 있습니다.
Loss of Plasticity
특히 재미있었던 부분은 loss of plasticity였습니다.
RL에서는 학습 초기에 잘못 형성된 representation 때문에 시간이 지날수록 network가 새로운 정보를 학습하기 어려워지는 현상이 발생할 수 있습니다.
실제로 학습이 plateau된 network의 weight를 새로 initialize하고 기존 replay buffer로 다시 학습시키면 갑자기 performance가 다시 증가하는 경우도 있다고 합니다.
즉 단순히 data가 부족해서가 아니라, network 자체가 더 이상 새로운 정보를 잘 받아들이지 못하는 상태가 될 수 있다는 것입니다.
Normalization, parameter norm, architecture 등이 이 문제와 밀접하게 연결되어 있고, 발표에서는 input normalization이나 loss conditioning처럼 deep learning에서 익숙한 engineering choice가 RL performance를 크게 바꿀 수 있다는 점도 강조했습니다. 어떤 환경에서는 RL algorithm 자체를 바꾸지 않고 architecture를 개선한 것만으로 성능이 크게 올라가기도 했습니다.
Bigger Batch가 오히려 답일 수도 있다
또 하나 재미있었던 부분은 data scale이었습니다.
RL에서는 흔히 sample efficiency를 중요하게 생각하지만 GPU-accelerated environment에서는 단순 sample 수보다 wall-clock time과 실제 compute utilization이 더 중요한 경우가 있습니다.
발표에서 소개한 실험에서는 같은 algorithm이라도 parallel environment와 batch size를 크게 늘렸을 때 기존에 plateau처럼 보였던 지점을 넘어 계속 성능이 향상되었습니다.
예를 들어 batch size가 약 4천일 때 success rate가 0.5 부근에서 멈추던 setting이, 약 6만 5천 수준에서는 거의 100%까지 올라갔습니다. 중간 checkpoint에서 batch size만 바꾸어도 새로운 batch size에 해당하는 성능으로 이동했기 때문에, network가 본질적으로 학습 능력을 잃었다기보다 더 좋은 policy improvement signal을 얻기 위해 충분한 data가 필요했던 것으로 해석할 수 있었습니다.
그래서 발표 마지막에 나온 practical advice도 꽤 기억에 남았습니다.
학습이 plateau된다면
- learning rate를 decay하거나 다시 조정해보고,
- network가 실제 우리가 원하는 objective를 optimize하고 있는지 확인하고,
- architecture와 normalization을 점검하고,
- 가능하다면 더 많은 data를 parallel하게 수집해보라는 것이었습니다.
단순해 보이지만 실제 RL 실험을 하다 보면 가장 먼저 확인해야 할 것들인 것 같습니다.
마무리
Pre-RLC Day의 발표들은 주제가 상당히 다양했습니다.
Hierarchical RL, multi-agent communication, drone swarm, cognitive science, neural network optimization처럼 겉으로 보면 서로 꽤 다른 연구들이었지만, 하루 동안 발표를 듣고 나니 공통적으로 하나의 질문을 하고 있다는 느낌을 받았습니다.
“우리가 만든 agent가 제한된 정보와 계산 자원 안에서 어떻게 더 잘 배우고, 기억하고, 일반화하고, 새로운 환경에 적응하게 만들 수 있을까?”
특히 최근에는 LLM이나 foundation model 쪽에서 RL을 접하다 보니 policy optimization이나 reward design에 먼저 눈이 가는 경우가 많았는데, 이번 발표들을 통해 representation, memory, abstraction, communication, optimization stability 같은 조금 더 근본적인 문제들도 다시 생각해볼 수 있어서 재미있었습니다.
또 이후 펍에서 네트워킹하는 행사도 참여했는데 대형 컨퍼런스의 발표 세션보다는 상대적으로 자유롭게 질문이 오가고, 연구자들이 아이디어를 주고받는 분위기라 “완성된 결과를 발표하는 자리”라기보다는 아직 풀리지 않은 문제를 함께 고민하는 자리에 가깝다는 느낌도 받았습니다.
같이 게임도.. 하하하
아무튼 이제 본격적인 RLC 세션들도 시작되는 만큼, 남은 기간 동안 재미있는 연구들을 더 많이 만나볼 수 있기를 기대해봅니다 :)
