12월 02일 (화)

오전 오후에 나눠서 각각 Efficient Transformers: State of the art in pruning, sparse attention, and transformer funneling과 Positional Encoding: Past, Present, and Future에 대한 세션을 참가했다.
[1] Efficient Transformers: State of the art in pruning, sparse attention, and transformer funneling
[2] Positional Encoding: Past, Present, and Future

1. Efficient Transformers: State of the art in pruning, sparse attention, and transformer funneling

최근 대규모 언어 모델(LLM)의 성능 향상은 곧바로 막대한 연산 비용과 에너지 소비 증가로 이어졌으며, 이로 인해 “모델 효율성”은 더 이상 선택이 아닌 필수 조건이 되었다. 이 튜토리얼은 효율성을 단순한 속도 개선이 아니라 공급 제약(supply constraint)을 해소하기 위한 핵심 전략으로 재정의한다. 데이터센터 확장과 전력 수급에는 물리적, 정치적 한계가 존재하기 때문에, 동일한 품질을 더 적은 연산으로 달성하는 구조적 혁신이 장기적으로 가장 큰 레버리지임을 분명히 한다. 이러한 문제의식 아래, 효율성은 하드웨어, 모델, 서빙 계층 전반에서 다층적으로 추구되어야 하며, 특히 모델 아키텍처 차원의 개선이 가장 직접적인 효과를 낳는다고 강조한다 .
이 보고서의 핵심은 Transformer가 실제로 “필요 이상으로 많은 계산”을 수행하고 있다는 사실을 정면으로 다룬다는 점이다. 먼저 sparse attention 계열의 연구들은 모든 토큰 쌍이 항상 상호작용할 필요는 없다는 관찰에서 출발한다. 초기의 고정 윈도우 방식은 문맥 단절이라는 한계를 드러냈지만, 이후 콘텐츠 기반 sparsity(LSH, Routing Transformer 등)는 “중요한 토큰만 선택적으로 본다”는 방향으로 진화했다. 동시에 FlashAttention 계열은 알고리즘 복잡도 자체보다 메모리 접근 패턴이 병목이라는 점을 밝혀, 하드웨어 친화적 타일링과 커널 융합이 실질적인 속도 개선을 이끈다는 인사이트를 제공한다. 이는 이론적 O(N²) 논의에서 벗어나, 실제 GPU 상에서 무엇이 느린가를 기준으로 설계가 이동했음을 보여준다.
프루닝과 퍼널링(funneling)은 효율성의 또 다른 축을 담당한다. FFN이 전체 연산의 절반 이상을 차지한다는 점에서, 구조적 프루닝은 “모델을 작게 만드는 기술”이 아니라 중요하지 않은 표현 차원을 제거해 밀도를 재배치하는 과정으로 해석된다. 특히 Matryoshka-style 접근은 하나의 모델 안에 여러 해상도의 표현을 공존시키며, 입력이나 시스템 조건에 따라 점진적으로 계산을 확장할 수 있는 가능성을 보여준다. Funnel Transformer는 시퀀스 길이를 깊이에 따라 점진적으로 압축함으로써, 동일한 FLOPs 예산을 더 깊거나 더 넓은 표현에 재투자할 수 있게 한다. 이는 효율성 향상이 곧 표현력 손실로 이어진다는 기존의 직관을 뒤집고, “어디에 계산을 쓰는가”가 “얼마나 쓰는가”만큼 중요함을 명확히 한다.
종합하면, 이 튜토리얼은 Efficient Transformer를 개별 기법의 나열이 아니라 하나의 시스템 설계 철학으로 제시한다. 모든 토큰, 모든 헤드, 모든 레이어가 항상 동일한 중요도를 갖는다는 가정은 더 이상 성립하지 않으며, 앞으로의 Transformer는 문제, 입력, 상황에 따라 계산을 조절하는 방향으로 진화할 것임을 강하게 시사한다. 효율성은 성능의 반대말이 아니라, 오히려 대규모 모델을 지속 가능하게 만드는 전제 조건이라는 점이 이 보고서의 가장 중요한 결론이다.

2. Positional Encoding: Past, Present, and Future

이 자료는 Positional Encoding(PE)을 단순한 부가 정보가 아니라, Transformer가 세계의 구조를 인식하는 방식 그 자체로 재해석한다. Self-Attention은 본질적으로 순서, 거리, 방향성을 인지하지 못하며, 이는 언어, 시계열, 공간 데이터에서 치명적인 맹점이 된다. PE는 이 결함을 보완하기 위한 도구로 출발했지만, 시간이 지나며 단순한 위치 표시를 넘어 structural inductive bias을 주입하는 프레임워크로 확장되어 왔다. 이 튜토리얼은 이러한 진화를 “과거–현재–미래”의 흐름 속에서 체계적으로 정리한다 .
초기의 절대적 위치 인코딩과 사인·코사인 기반 인코딩은 Transformer에 순서를 부여하는 최소한의 해법이었다. 특히 사인파 기반 인코딩은 파라미터 없이 상대적 거리 정보를 암묵적으로 표현할 수 있다는 점에서 큰 성공을 거두었지만, 실제로는 거리 감쇠나 방향성 같은 바람직한 성질을 학습 과정에 과도하게 위임한다는 한계를 드러냈다. 이후 연구는 “어디에 위치 정보를 넣을 것인가”라는 질문으로 이동하며, 입력 임베딩에 더하는 방식에서 벗어나 Attention score 내부에 직접 개입하는 상대적 위치 인코딩(RPR) 계열로 전환되었다. 이는 표현력뿐 아니라 분석 가능성과 제어 가능성을 크게 향상시킨 결정적 전환점이었다.
현대에 들어서는 Decoder 계열과 Encoder 계열이 뚜렷이 다른 길을 걷는다. 대규모 생성 모델에서는 RoPE와 ALiBi 같은 고정적이고 파라미터가 거의 없는 방식이 사실상 표준으로 자리 잡았다. 이들의 강점은 단순함이 아니라, 학습 시 보지 못한 길이로의 외삽(extrapolation) 능력에 있다. 반면 Encoder 계열에서는 여전히 절대, 상대, 학습형 인코딩이 혼재하며, 이는 감정 분석, NER, 과학 데이터 등 작업별 요구 구조가 서로 다르기 때문이다. 이 대비는 Positional Encoding에 “one-size-fits-all” 해법이 없음을 명확히 보여준다.
가장 중요한 통찰은 Positional Encoding의 개념이 더 이상 “토큰의 순서”에 국한되지 않는다는 점이다. 비전, 비디오, 오디오, 그래프, 분자 구조, 기후 시뮬레이션에 이르기까지, 현대의 Transformer는 2D, 3D, 비유클리드 공간, 심지어 물리 법칙이 정의하는 좌표계를 다뤄야 한다. 이때 PE는 좌표, 거리, 각도, 위상, 토폴로지 등을 주입하는 범용적인 구조 인코딩 도구로 기능한다. 즉, Positional Encoding은 Transformer가 다양한 세계를 이해하도록 만드는 “언어 이전의 언어”에 가깝다.
결론적으로 이 튜토리얼은 Positional Encoding을 더 이상 주변적인 구현 디테일로 취급해서는 안 된다고 주장한다. PE는 길이 일반화, 도메인 적합성, 모델 해석 가능성에 직접적인 영향을 미치며, 향후 연구는 특정 아키텍처를 넘어 데이터 구조 그 자체를 어떻게 신호로 변환할 것인가라는 문제로 확장될 것이다. Positional Encoding은 이제 성능을 보조하는 기법이 아니라, Transformer 설계의 중심 축 중 하나로 자리 잡았음을 이 보고서는 분명히 보여준다.

12월 03일 (수)

Transformer 내부 동역학과 emergence를 중심으로 oral 발표 세션이 있었다. 다음 3개의 논문에 대한 발표가 진행되었다.
[1] A Multiscale Analysis of Mean-Field Transformers in the Moderate Interaction Regime (Giuseppe Bruno, Federico Pasqualotto, Andrea Agazzi)
[2] The Emergence of Sparse Attention: Impact of Data Distribution and Benefits of Repetition (Nicolas Zucchet, Francesco D’Angelo, Andrew Lampinen, Stephanie Chan)
[3] From Condensation to Rank Collapse: A Two-Stage Analysis of Transformer Training Dynamics (Zheng-An Chen, Tao Luo)

1. A Multiscale Analysis of Mean-Field Transformers in the Moderate Interaction Regime

Encoder-only Transformer의 추론(inference) 과정을 mean-field 상호작용을 하는 입자 시스템으로 모델링함으로써, 깊이에 따른 토큰 표현의 진화를 이론적으로 분석한다. 이 논문에서 각 토큰은 하나의 입자로 간주되며, self-attention은 입자 간 상호작용으로 해석된다. 특히 토큰 수가 매우 크고 attention의 inverse temperature가 토큰 수와 함께 스케일링되는 moderate interaction regime에서는, 토큰 분포의 변화가 단일한 수렴 과정이 아니라 명확한 다중 스케일(multiscale) 동역학을 따른다는 점이 밝혀진다. 초기의 빠른 단계에서는 토큰들의 경험적 분포가 급격히 저차원 부분공간으로 붕괴하고, 중간 단계에서는 그 저차원 공간 내에서 여러 개의 클러스터가 형성되며, 마지막으로 매우 느린 시간 스케일에서 이 클러스터들이 순차적으로 병합되어 하나의 집합으로 수렴한다. 이 결과는 Transformer 깊이가 증가할수록 표현이 점점 단순화되고 응집되는 현상이 단순한 경험적 관찰이 아니라, mean-field 한계에서 엄밀히 기술 가능한 구조적 특성임을 보여준다.

2. The Emergence of Sparse Attention: Impact of Data Distribution and Benefits of Repetition

Transformer 학습 과정에서 자주 관찰되는 sparse attention의 emergence를 정면으로 다룬다. sparse attention은 학습이 진행되다가 어느 순간 갑자기 나타나는 것처럼 보이기 때문에, 그동안 설명하기 어려운 현상으로 여겨져 왔다. 이 논문은 이론적 toy model 분석과 소형 Transformer 실험을 결합해, sparse attention의 등장이 우연이나 단순한 regularization 효과가 아니라 학습 동역학의 임계 현상임을 보여준다. 특히 sparse attention이 나타나는 시점은 모델 크기, 태스크 구조, 옵티마이저 선택에 따라 달라지며, 그 타이밍이 power law를 따른다는 점이 강조된다. 또한 입력 데이터에 반복 구조가 많을수록 sparse attention의 emergence가 현저히 빨라진다는 결과는, in-context learning이나 associative recall과 같은 태스크에서 반복이 왜 중요한 역할을 하는지를 설명해준다. 이 연구는 emergence를 “갑자기 생기는 능력”이 아니라, 데이터 분포와 학습 규칙이 누적되어 임계점을 넘을 때 드러나는 필연적 구조 변화로 재해석한다.

3. From Condensation to Rank Collapse: A Two-Stage Analysis of Transformer Training Dynamics

Transformer의 훈련(training) 동역학을 gradient flow 관점에서 분석하며, attention 모듈의 학습이 두 단계로 나뉜다는 이론적 프레임워크를 제시한다. 첫 번째 단계인 condensation 단계에서는 작은 초기화 스케일로 인해 query–key 행렬이 거의 학습에 참여하지 않는 대신, 비대칭적인 가중치 섭동이 gradient를 유지하며 모델이 small initialization regime에서 벗어나도록 한다. 이 과정에서 가중치들은 점차 목표 방향으로 정렬되며 표현이 응집된다. 두 번째 단계에서는 query–key 행렬이 본격적으로 학습에 참여하면서, 정규화된 행렬들이 점점 저랭크 구조로 수렴하는 rank collapse가 발생한다. 이는 attention이 점점 선택적이고 집중적인 구조로 변해가는 과정으로 해석되며, Transformer 내부 표현의 차원이 학습 후반부에 급격히 줄어드는 이유를 설명한다.
이 세 논문을 함께 놓고 보면, Transformer 내부에서 관찰되는 다양한 현상들은 하나의 일관된 그림으로 정리된다. A Multiscale Analysis of Mean-Field Transformers in the Moderate Interaction Regime가 보여주듯 추론 과정에서는 토큰 분포가 단계적으로 붕괴하며 저차원 구조로 수렴하고, From Condensation to Rank Collapse가 분석하듯 훈련 과정에서는 가중치가 condensation과 rank collapse라는 두 단계를 거쳐 저랭크 구조로 조직화된다. 이러한 구조적 변화의 결과로, The Emergence of Sparse Attention에서 관찰되는 sparse attention과 같은 emergent 패턴이 특정 시점에 급격히 나타난다. 중요한 점은 이 모든 과정이 단일한 시간 스케일에서 부드럽게 일어나는 것이 아니라, 빠른 단계와 느린 단계가 구분되는 다단계 동역학이라는 것이다.
종합적으로 이 세 연구는 Transformer를 단순한 함수 근사기나 블랙박스로 보는 관점을 넘어, 고차원 동역학 시스템으로서 이해해야 함을 강하게 시사한다. 깊이, 초기화 스케일, 데이터 분포는 단순한 하이퍼파라미터가 아니라 내부 표현이 어떤 경로를 따라 진화하는지를 결정하는 핵심 요소이며, sparse attention이나 저랭크 표현은 설계자가 인위적으로 주입한 특성이 아니라 학습과 추론 과정에서 자연스럽게 형성되는 구조일 가능성이 크다. 이러한 관점은 향후 Transformer 연구와 설계의 초점이 “더 크게 만들 것인가”에서 “어떤 동역학을 유도할 것인가”로 이동할 수 있음을 보여준다.

12월 04일 (목)

이번 3D Application에 관련된 Oral Session에 참여했다. 다음 세 편으로 진행되었다.
[1] ControlFusion: A Controllable Image Fusion Network with Language-Vision Degradation Prompts
[2] Pan-LUT: Efficient Pan-sharpening via Learnable Look-Up Tables
[3] FuXi-Ocean: A Global Ocean Forecasting System with Sub-Daily Resolution
이번 세션에서는 전반적으로 성능이 좋다에서 끝나지 않고, 실제 환경에서 모델이 부딪히는 제약(복합 열화, 초대형 해상도, sub-daily 시계열 누적오차)을 각각 정면으로 겨냥한 발표들로 묶여 있었다. 세 편 모두 문제정의가 실전적이고, 그 문제정의에 맞춰 아키텍처, 학습데이터, 추론 경로를 동시에 재설계한다는 점에서 공통된 결을 보였다. 다만 각 연구가 채택한 해법이 강력한 만큼, 어디에서 성능이 생기고 어디에서 리스크가 생기는지도 비교적 선명하게 드러난다.

1. ControlFusion: A Controllable Image Fusion Network with Language-Vision Degradation Prompts

ControlFusion은 이미지 융합 분야가 늘 겪어온 “현실 열화와 벤치마크 열화의 간극”을 주제로 잡는다. 기존 방식들이 단일 열화(노이즈만)를 전제하거나, 사용자 요구를 반영해도 그 제어가 모델 내부에서 명확히 구조화되지 않아 결과가 불안정한 문제가 있었는데, 이 논문은 아예 복합 열화를 ‘물리 메커니즘’으로 구성해 데이터 기반을 깔고 들어간다. Retinex와 대기 산란 같은 고전적 모델을 이용해 합성 열화를 만들고, 그 위에 “열화 타입과 강도”를 텍스트로 주는 프롬프트를 붙여 제어를 가능하게 하는 구성이 핵심이다. 기술적으로 흥미로운 지점은 두 갈래 제어를 동시에 넣었다는 것이다. 하나는 사용자가 주는 언어 프롬프트(명시적 제어)이고, 다른 하나는 입력 이미지로부터 열화를 스스로 감지하는 spatial-frequency 협업 어댑터(암시적 제어)다. 즉 “프롬프트를 잘 못 쓰는 사용자”와 “프롬프트로 다 말할 수 없는 미묘한 열화”를 동시에 다루려는 설계로 읽힌다.
다만 더 깊게 보면, 이 강점이 곧 논문의 기술적 리스크로 이어진다. 첫째, 물리 기반 열화 모델로 생성한 합성 데이터가 “현실에 더 가깝다”는 주장은 방향성은 맞지만, 실제 현장의 열화 분포는 종종 센서 특성, ISP 파이프라인, 압축 아티팩트, 움직임/rolling shutter 등 복합 요소로 결정된다. Retinex/산란만으로 커버되지 않는 영역이 분명 존재하고, 이때 모델이 학습한 프롬프트에서 보정으로의 매핑이 과도하게 이상화될 수 있다. 둘째, 텍스트 프롬프트로 열화의 타입과 레벨을 주는 방식은 controllability 측면에서 매력적이지만, 프롬프트가 곧 ‘정답 조건’이 되는 순간 평가가 애매해진다. 같은 입력이라도 사용자가 “조금 더 선명하게”와 “노이즈를 줄여줘”를 다르게 주면 목표가 바뀌는데, 이 목표 함수를 어떻게 규정하고 비교할지, 그리고 프롬프트가 틀렸거나 모호할 때 모델이 어떤 안전한 디폴트로 수렴해야 하는지까지가 사실 실사용에서 더 중요하다. 셋째, 열화를 자동 인식하는 어댑터를 넣은 것은 사용자 의존도를 낮추지만, 반대로 “모델이 스스로 판단한 열화”가 사용자 의도와 충돌할 수 있다. 이때 충돌을 조정하는 우선순위의 디자인이 결과 품질을 크게 좌우할 텐데, 그 정책이 얼마나 안정적으로 설계·학습되었는지는 핵심 검증 포인트다. 요약하면 ControlFusion은 현실 복합 열화와 사용자 제어를 동시에 가져가며 분야의 다음 스텝을 보여주지만, 그만큼 데이터 생성의 커버리지, 프롬프트 기반 목표의 정의, 자동 인식과 사용자 의도의 충돌 처리라는 세 가지 축에서 후속 검증이 필요해 보인다.

2. Pan-LUT: Efficient Pan-sharpening via Learnable Look-Up Tables

Pan-LUT는 문제를 훨씬 공학적으로 정리한다. 원격탐사 pan-sharpening에서 딥러닝이 잘 먹히는 건 모두가 알지만, 9K~15K급 초대형 이미지를 실제 파이프라인에서 처리하려면 추론 시간이 병목이 되고 GPU 의존이 커져 배포가 어렵다. 이 논문은 “모델을 더 얇게 만들자” 정도가 아니라, 아예 함수 근사를 LUT 조회로 치환해 추론 비용을 시스템 수준에서 재구성한다. PAN-guided LUT로 채널별 분광 매핑을 잡고, spatial detail LUT로 고주파 디테일을 보강하며, adaptive output LUT로 채널 집계를 수행하는 삼단 구조는, 네트워크가 해야 할 연산을 “학습된 테이블 기반 규칙”으로 분해해 넣은 형태다. 여기서 중요한 점은 LUT가 단순한 근사 장치가 아니라, 채널·공간·출력 집계라는 서로 다른 역할을 분리하여 표현력과 안정성을 동시에 확보하려는 설계라는 것이다. 결과적으로 파라미터 수를 수십만 수준으로 낮추면서도 매우 빠른 추론을 달성해, ‘실제 배포 가능성’을 성능 축으로 끌어올린 점이 강력하다.
하지만 기술적 비판을 더 세게 하자면, LUT 기반 접근은 구조적으로 일반화와 표현력의 trade-off를 안고 간다. LUT는 결국 입력 공간을 이산적으로 양자화하고, 그 구간별 매핑을 학습한다. 따라서 학습 분포에서 자주 보지 못한 조명 조건, 계절 변화, 센서 밴드 특성, 혹은 극단적 장면의 경우 테이블이 가지는 국소 근사 특성이 오히려 아티팩트를 만들 가능성이 있다. 논문이 “실세계 조건”에서 좋다고 주장할수록, 그 실세계가 어떤 센서/지역/시기/대기 조건을 포함했는지, 그리고 그 범위를 벗어나면 성능이 어떻게 무너지는지(혹은 유지되는지)를 더 보고 싶어진다. 또 하나의 포인트는, LUT가 빠른 건 사실이지만 “빠름 때문에 잃는 것”이 무엇인지가 명확해야 한다. 예를 들어 fine texture 재현은 잘 되지만 스펙트럼 정확도가 미세하게 흔들린다거나(원격탐사에서는 이게 매우 중요할 때가 많다), 혹은 특정 밴드에서 색 왜곡이 생긴다거나 하는 정밀한 failure mode 분석이 있어야 시스템 채택이 가능해진다. 결론적으로 Pan-LUT는 딥러닝을 ‘운영 가능한 엔진’으로 만드는 매우 강한 방향성을 제시했지만, LUT 기반 모델의 본질적 리스크인 분포 외 일반화와 미세 스펙트럼 정확도에서 어떤 보장을 제공하는지가 향후 설득의 핵심이 된다.
[3] FuXi-Ocean: A Global Ocean Forecasting System with Sub-Daily Resolution
FuXi-Ocean은 세 편 중에서 “시간 축”을 가장 어렵게 다룬다. 해양 예측은 공간 해상도도 거대하지만, 무엇보다 sub-daily 예측에서 누적오차가 폭발하기 쉽다. 기존 데이터 기반 모델이 일 단위 예측에서는 강해도 6시간 단위로 내려가면, autoregressive rollout 과정에서 작은 편향이 빠르게 증폭되는 문제가 있다. FuXi-Ocean의 핵심 기여는 Mixture-of-Time(MoT) 모듈로, 서로 다른 시간 컨텍스트에서 나온 예측을 변수별 신뢰도에 따라 섞어 누적오차를 줄인다는 설계다. 단순히 “더 깊은 모델”이나 “더 큰 데이터”로 밀어붙인 것이 아니라, 시간적 예측을 하나의 경로로 롤아웃시키는 구조 자체를 바꾸고, 변수마다 시간 스케일이 다르다는 물리적 직관(온도/염분/해류가 동일한 예측 난이도를 갖지 않음)을 모델링에 반영한 점이 설득력 있다. 또한 1/12°의 eddy-resolving급 해상도와 1500m 깊이까지라는 스펙은, 데이터 기반 접근이 운영 모델의 문턱을 넘고 있다는 인상을 준다.
그럼에도 기술적 critique는 더 날카롭게 들어갈 필요가 있다. 첫째, MoT가 누적오차를 줄이는 메커니즘은 직관적으로 좋지만, 그 신뢰도 학습이 어떤 방식으로 안정화되는지가 중요하다. 신뢰도는 결국 메타-예측인데, 만약 특정 변수나 특정 지역(서안경계류, ENSO 영향권)에서 신뢰도가 잘못 학습되면, 혼합이 오히려 편향을 고착할 수 있다. 둘째, 6시간 예측에서 좋다는 것은 운영 관점에서 큰 의미지만, 해양은 이벤트 기반 변동(폭풍, 급격한 혼합, 해빙 변화 등)이 존재한다. 이런 극단 이벤트에서 MoT가 “보수적으로 평균을 내서” 이벤트를 둔화시키는 쪽으로 작동할 위험도 있다. 즉 RMSE는 좋아지는데 극값(extremes)이나 급변 시점(phase timing)은 나빠지는 현상이 생길 수 있다. 셋째, 글로벌·고해상도 모델은 데이터 품질과 동화(assimilation) 이슈를 피하기 어렵다. 수치모델은 관측 동화를 통해 편향을 잡는데, 데이터 기반 모델이 관측 갱신을 어떻게 흡수하는지, 혹은 순수 예측으로만 갈 때 장기 드리프트가 어떻게 생기는지(예: 계절성, 장기 평균 편향)는 운영에서 가장 치명적인 포인트다. FuXi-Ocean이 “첫 데이터 기반 sub-daily 글로벌 모델”이라는 타이틀을 주장할수록, 장기 안정성, 극단 이벤트 재현, 관측 갱신과의 결합 가능성까지가 후속 검증의 중심이 될 것이다.

12월 05일 (금)

Language Model에 관련된 Oral 세션을 참여했고 이곳에서는 최근 대형 언어모델 연구에서 가장 근본적인 질문들을 정면으로 다뤘다. 언어모델의 성능은 과연 어느 학습 단계에서 형성되는가, 자기회귀 모델이라는 생성 방식은 필수적인가, 그리고 강화학습은 정말로 새로운 추론 능력을 만들어내는가라는 질문이다. 세 편의 발표는 서로 다른 각도에서 이 질문을 파고들지만, 공통적으로 현재 LLM 연구가 가지고 있는 불투명성과 과대 해석의 문제를 드러낸다. 이 세션은 단순히 새로운 방법을 제안하는 자리가 아니라, 우리가 지금까지 당연하게 받아들여온 가정들을 다시 점검하게 만든다는 점에서 의미가 크다. 다음과 같은 차례로 발표가 진행되었다.
[1] EvoLM: In Search of Lost Language Model Training Dynamics
[2] Large Language Diffusion Models
[3] Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?

1. EvoLM: In Search of Lost Language Model Training Dynamics

첫 번째 발표인 EvoLM은 현대 언어모델 학습이 여러 단계로 쪼개지면서 생긴 구조적 문제를 출발점으로 삼는다. 오늘날 대부분의 대형 언어모델은 사전학습, 도메인 중심의 추가 사전학습, 지도 미세조정, 그리고 강화학습이라는 복잡한 파이프라인을 거친다. 하지만 최종 모델의 성능이 좋아졌을 때, 그 원인이 어느 단계에 있는지 명확히 말하기는 매우 어렵다. EvoLM은 이 문제를 해결하기 위해 소규모 실험이 아니라, 수십 개가 넘는 모델을 처음부터 끝까지 동일한 틀 안에서 학습시키는 방식을 택한다. 이 접근의 핵심 가치는 결과 그 자체보다도 학습 과정의 동역학을 투명하게 관찰할 수 있게 만든다는 점에 있다.
이 연구에서 특히 인상적인 부분은 도메인 중심의 추가 사전학습을 단순한 성능 향상 단계가 아니라, 사전학습과 후속 미세조정을 이어주는 중간 다리로 해석한다는 점이다. 즉 이 단계의 역할은 단순히 데이터를 더 먹이는 것이 아니라, 이후 단계들이 효과적으로 작동할 수 있도록 분포를 정렬하는 데 있다는 주장이다. 이를 통해 연구진은 과도한 사전학습이나 과도한 후처리가 오히려 수익 체감 현상을 낳을 수 있다는 점도 함께 보여준다. 이는 규모를 키우면 항상 좋아진다는 단순한 믿음에 제동을 거는 결과다.
다만 EvoLM의 한계 역시 분명하다. 실험 규모는 방대하지만 모델 크기는 상대적으로 작기 때문에, 초대형 모델에서 나타나는 emergent behavior를 그대로 대변한다고 보기는 어렵다. 또한 각 단계에서 사용된 데이터 구성과 학습 레시피는 특정 시점의 모범 사례에 기반하고 있어, 다른 조건에서도 동일한 결론이 유지되는지는 추가 검증이 필요하다. 그럼에도 불구하고 이 연구는 앞으로 학습 파이프라인을 논의할 때 참고해야 할 기준선을 제시했다는 점에서 의미가 크다.

2. Large Language Diffusion Models

두 번째 발표인 Large Language Diffusion Models, 이른바 LLaDA는 언어모델 연구의 가장 깊은 가정을 건드린다. 언어는 반드시 왼쪽에서 오른쪽으로 한 토큰씩 생성되어야 하는가라는 질문이다. 이 연구는 자기회귀 방식이 아닌 확산 모델 기반의 텍스트 생성을 제안하며, 언어 생성 자체를 확률적 추론 문제로 다시 정의한다. 토큰을 하나씩 고정해 나가는 대신, 전체 문장을 전역적으로 갱신하면서 점진적으로 의미를 복원하는 방식이다.
이 접근의 장점은 전역적인 제약을 자연스럽게 반영할 수 있다는 데 있다. 실제로 발표에서는 기존 자기회귀 모델이 취약했던 순서 뒤집기 문제에서 확산 기반 모델이 강한 성능을 보였음을 강조했다. 이는 생성 순서에 강하게 묶여 있지 않다는 구조적 특성이 만들어낸 결과로 해석할 수 있다. 또한 일정 규모 이상에서는 기존 자기회귀 모델과 유사한 성능을 보이며, 지도 미세조정 이후에는 지시 따르기 능력도 충분히 발현된다는 점을 보여준다.
그러나 기술적으로 더 깊이 들어가면, 이 방식이 안고 있는 리스크도 분명해진다. 확산 모델은 전역적으로 토큰을 갱신하기 때문에, 문장이 이미 어떻게 시작되었는지에 대한 순차적 자기 인식이 약해질 수 있다. 실제로 질문 시간에 지적된 반복적인 문두 패턴 문제는 단순한 예시가 아니라, 전역 갱신 방식이 문맥 일관성을 어떻게 유지하는지에 대한 근본적인 질문으로 이어진다. 또한 기존의 체인 오브 소트 방식이 확산 텍스트 모델에서 동일한 의미를 갖는지도 불분명하다. 자기회귀 모델에서는 추론 과정을 쓰는 행위 자체가 이후 토큰 분포에 영향을 주지만, 확산 모델에서는 그 인과 구조가 훨씬 약해질 수 있기 때문이다. 따라서 확산 언어모델에서의 추론은 출력 형식이 아니라, 생성 과정 자체를 어떻게 유도하는가의 문제로 다시 정의될 필요가 있다.

3. Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?

세 번째 발표는 강화학습에 대한 비판적 검토를 중심으로 세션을 마무리한다. 이 연구는 강화학습 기반 후처리가 언어모델의 추론 능력을 실제로 확장하는지에 대해 매우 직접적인 질문을 던진다. 핵심 관찰은 강화학습을 거친 모델이 작은 샘플 수에서는 강하지만, 샘플 수를 크게 늘리면 오히려 기본 모델이 더 높은 성능을 보일 수 있다는 점이다. 이는 강화학습이 새로운 추론 전략을 만들어낸다기보다는, 기존 모델이 이미 가지고 있던 정답 경로에 확률을 집중시키는 역할을 한다는 해석으로 이어진다.
이 결과는 강화학습의 효과를 전면 부정한다기보다는, 그 효과의 성격을 재정의한다. 즉 현재의 강화학습은 추론 공간을 넓히는 도구라기보다, 샘플링 효율을 개선하는 도구에 가깝다는 것이다. 특히 보상이 명확한 문제에서는 다양한 사고 경로를 유지하기보다, 빠르게 정답으로 수렴하는 경로가 강화되기 쉽다. 그 결과 단일 응답 품질은 좋아지지만, 전체 추론 공간의 다양성은 줄어들 수 있다.
물론 이에 대한 반론도 가능하다. 실제 사용 환경에서는 샘플 수가 크지 않기 때문에, 작은 샘플에서의 성능 향상이 더 중요하다고 볼 수도 있다. 그러나 연구진이 추가 분석을 통해 강화학습 모델이 생성하는 추론 경로가 기본 모델의 분포 안에 이미 포함되어 있음을 보였다는 점에서, 논의는 단순한 지표 선택의 문제가 아니라 능력의 정의 문제로 확장된다. 이 연구가 지식 증류가 새로운 추론 패턴을 도입할 수 있다고 대비시킨 이유도 여기에 있다.
세 편의 발표를 함께 놓고 보면 하나의 흐름이 드러난다. EvoLM은 우리가 무엇을 학습했는지를 분해해서 보자고 말하고, LLaDA는 우리가 당연하게 여겨온 생성 방식이 본질인지 다시 묻고, 강화학습 비판 연구는 우리가 능력이라고 부르는 것이 사실은 분포 재배치일 수 있음을 지적한다. 이 세션은 언어모델 연구가 이제 단순한 성능 경쟁을 넘어, 능력의 기원과 평가 방식 자체를 재정의해야 할 시점에 와 있음을 분명히 보여준다.