[2025/W06] 🤗 Weekly AI Research

2025년 6주차에 공개된 주목할만한 AI 분야의 논문들을 소개합니다.

언어 모델 (Language Models) 관련

s1: Simple test-time scaling

Paper, Project

이 논문은 언어 모델의 성능을 향상시키는 새로운 방법인 '테스트 시간 스케일링'에 관한 연구를 다루고 있습니다. 최근 OpenAI의 o1 모델이 이러한 능력을 보여주었지만, 구체적인 방법론을 공개하지 않아 많은 연구자들이 이를 재현하려 시도해왔습니다.

연구진은 가장 단순하면서도 효과적인 방법을 찾고자 했습니다. 먼저, 난이도, 다양성, 품질이라는 세 가지 기준을 바탕으로 1,000개의 문제와 그에 따른 추론 과정을 엄선했습니다. 이러한 기준의 유효성은 실험을 통해 검증되었습니다.

다음으로, '예산 강제(budget forcing)'라는 새로운 기법을 개발했습니다. 이는 AI가 답을 도출하는 과정에서 생각하는 시간을 조절하는 방법입니다. AI가 너무 빨리 결론을 내리려 할 때는 강제로 중단하거나, "Wait"라는 명령어를 여러 번 추가하여 더 오래 생각하도록 유도합니다. 이를 통해 AI는 자신의 답변을 재검토하고 잘못된 추론 단계를 수정할 수 있게 됩니다.

이러한 방법을 Qwen2.5-32B-Instruct 언어 모델에 적용한 결과, 수학 경시대회 수준의 문제 해결에서 놀라운 성과를 보였습니다. 특히 MATH와 AIME24와 같은 고난도 수학 문제에서 기존 o1-preview 모델보다 최대 27% 향상된 성능을 보였습니다. 더욱 주목할 만한 점은, 예산 강제 기법을 통한 스케일링으로 AIME24에서 기존 50%에서 57%로 성능이 향상되었다는 것입니다.

이 연구는 AI가 더 신중하게 사고하고 답변을 검토할 수 있도록 하는 간단하면서도 효과적인 방법을 제시했다는 점에서 큰 의미가 있습니다. 특히 복잡한 추론이 필요한 문제 해결에서도 뛰어난 성능 향상을 보여주어, 향후 AI 발전에 중요한 통찰을 제공하고 있습니다.

The Differences Between Direct Alignment Algorithms are a Blur

Paper

이 논문은 언어 모델을 개선하는 새로운 방식인 'Direct Alignment Algorithms (DAAs)'에 대해 연구한 내용입니다. 기존에 사용되던 RLHF(Reinforcement Learning from Human Feedback) 방식은 복잡했는데, DAAs는 이를 더 단순하게 만들어 효율적인 학습이 가능하도록 했습니다.

연구진은 DAAs를 크게 두 가지 방식으로 분류했습니다. 하나는 두 개의 답변을 서로 비교하는 방식(pairwise)이고, 다른 하나는 개별 답변을 독립적으로 평가하는 방식(pointwise)입니다. 또한 학습 과정을 한 번에 진행하는 1단계 방식과, 기본 학습 후 추가 학습을 하는 2단계 방식으로도 나눌 수 있습니다.

연구 결과, 1단계 방식이 2단계 방식보다 성능이 떨어진다는 사실을 발견했습니다. 이를 개선하기 위해 연구진은 'beta 파라미터'라는 새로운 요소를 도입했고, 이를 통해 1단계 방식의 성능을 크게 향상시킬 수 있었습니다. 특히 ORPO와 ASFT라는 방식에서 각각 3.46점과 8.27점의 성능 향상을 이끌어냈습니다.

더 나아가 연구진은 학습 방식의 성능을 좌우하는 핵심 요인이 특정 보상이나 손실 함수가 아니라, pairwise 방식을 사용하는지 pointwise 방식을 사용하는지에 있다는 것을 밝혀냈습니다.

이 연구의 가장 중요한 시사점은 새로운 AI 학습 방법을 도입할 때 신중한 평가가 필요하다는 것입니다. 성급하게 성능 향상을 주장하거나 특정 방식의 우수성을 단정 짓는 것은 위험할 수 있다는 점을 강조하고 있습니다. 이러한 연구 결과는 앞으로의 AI 언어 모델 개발에 중요한 지침이 될 것으로 기대됩니다.

SmolLM2: When Smol Goes Big -- Data-Centric Training of a Small Language Model

Paper, Project

최근 인공지능 분야에서 큰 주목을 받고 있는 대형 언어 모델들은 뛰어난 성능을 보여주고 있지만, 그 크기가 너무 커서 일반적인 컴퓨터나 기기에서 사용하기 어렵다는 한계가 있었습니다. 이러한 문제를 해결하기 위해 연구진은 SmolLM2라는 새로운 소형 언어 모델을 개발했습니다.

SmolLM2는 1.7B(17억) 개의 매개변수만을 사용하는 작은 모델임에도 불구하고, 약 11조 개의 다양한 텍스트 데이터를 활용한 특별한 학습 방식을 통해 뛰어난 성능을 달성했습니다. 연구팀은 일반적인 웹 텍스트뿐만 아니라 수학, 프로그래밍 코드, 지시사항 따르기와 같은 전문적인 데이터도 함께 활용했습니다. 또한, 기존 데이터셋의 한계를 극복하기 위해 FineMath, Stack-Edu, SmolTalk와 같은 새로운 데이터셋을 직접 개발하여 학습에 활용했습니다.

연구 결과, SmolLM2는 비슷한 크기의 다른 언어 모델들인 Qwen2.5-1.5B와 Llama3.2-1B보다 더 우수한 성능을 보여주었습니다. 연구팀은 이러한 성과를 다른 연구자들과 공유하고 더 나은 발전을 이루기 위해 개발한 모델과 데이터셋을 모두 공개했습니다.

이 연구는 대형 언어 모델의 크기를 대폭 줄이면서도 높은 성능을 유지할 수 있다는 것을 입증했다는 점에서 큰 의미가 있습니다. 이는 향후 일반 사용자들도 개인 컴퓨터나 모바일 기기에서 고성능 AI를 활용할 수 있는 가능성을 제시했다는 점에서 매우 중요한 연구로 평가됩니다.

Analyze Feature Flow to Enhance Interpretation and Steering in Language Models

Paper

이 논문은 대규모 언어 모델의 내부 작동 방식을 더 잘 이해하고 제어하기 위한 새로운 접근 방법을 소개하고 있습니다.

연구진은 언어 모델의 여러 층(layer)에서 발견되는 특징들이 어떻게 연결되고 발전하는지를 체계적으로 추적하는 방법을 개발했습니다. 이 방법은 데이터를 필요로 하지 않는 코사인 유사도 기법을 사용하여, 각 층에서 특정 특징들이 어떻게 유지되거나, 변화하거나, 새롭게 나타나는지를 관찰할 수 있게 해줍니다.

이러한 접근 방식은 마치 특징들의 '흐름도'를 만들어내는 것과 같습니다. 이를 통해 AI 모델이 정보를 처리하는 세부적인 과정을 이해할 수 있게 되었습니다. 더 나아가, 이 연구의 가장 중요한 발견은 이러한 층간 특징 지도를 활용하여 모델의 동작을 직접적으로 조절할 수 있다는 점입니다. 원하는 특징을 강화하거나 약화시킴으로써, 텍스트 생성 과정에서 특정 주제나 스타일을 원하는 대로 제어할 수 있게 되었습니다.

결과적으로 이 연구는 단순히 모델의 작동 방식을 이해하는 것을 넘어서, 대규모 언어 모델을 투명하고 효과적으로 제어할 수 있는 새로운 방법을 제시했다는 점에서 큰 의의가 있습니다.

비디오/애니메이션 생성 관련

OmniHuman-1: Rethinking the Scaling-Up of One-Stage Conditioned Human Animation Models

Paper, Project

OmniHuman은 인공지능을 활용해 사람의 움직임을 자연스럽게 생성하는 새로운 시스템을 소개하는 연구입니다. 최근 몇 년간 음성을 기반으로 말하는 사람의 영상을 만드는 기술이 많이 발전했지만, 실제 응용하기에는 여전히 한계가 있었습니다. 이러한 한계를 극복하기 위해 연구진은 '디퓨전 트랜스포머'라는 AI 기술을 기반으로 OmniHuman을 개발했습니다.

OmniHuman의 가장 큰 특징은 다양한 형태의 인물 영상을 자연스럽게 다룰 수 있다는 점입니다. 얼굴 클로즈업부터 상반신, 전신까지 다양한 화면 구도를 지원하며, 말하기뿐만 아니라 노래하는 모습도 생성할 수 있습니다. 또한 사람이 물체와 상호작용하는 복잡한 동작도 처리할 수 있으며, 다양한 이미지 스타일도 지원합니다.

기존 시스템들과 비교했을 때 OmniHuman의 가장 큰 장점은 입력 방식의 유연성입니다. 음성만으로도, 영상만으로도, 또는 둘을 조합해서도 원하는 움직임을 만들어낼 수 있어 활용도가 매우 높습니다. 더불어 생성되는 영상의 품질도 더욱 현실적이어서, 영화 제작, 가상 유튜버, 교육용 콘텐츠 제작 등 다양한 분야에서 활용될 수 있을 것으로 기대됩니다.

이 연구는 인공지능 기술을 통해 인간의 움직임을 더욱 자연스럽고 다양하게 표현할 수 있는 가능성을 보여주었다는 점에서 큰 의의가 있습니다.

VideoJAM: Joint Appearance-Motion Representations for Enhanced Motion Generation in Video Models

Paper, Project

최근 AI를 활용한 비디오 생성 기술이 크게 발전했지만, 현실 세계의 자연스러운 움직임과 물리적 특성을 정확하게 표현하는 데는 여전히 한계가 있었습니다. 이는 기존 모델들이 영상의 시각적 품질에만 중점을 두고, 움직임의 자연스러움은 상대적으로 소홀히 다루었기 때문입니다.

이러한 문제를 해결하기 위해 연구진은 'VideoJAM'이라는 새로운 프레임워크를 개발했습니다. VideoJAM의 핵심은 영상의 외형과 움직임을 동시에 고려하는 학습 방식입니다. 이는 마치 사람이 영상을 볼 때 모습과 움직임을 자연스럽게 함께 인식하는 것과 유사한 방식입니다. 또한, 'Inner-Guidance'라는 특별한 시스템을 도입하여 AI가 영상을 생성하는 과정에서 스스로 움직임을 예측하고 보정할 수 있게 만들었습니다.

VideoJAM의 주목할 만한 특징은 기존 비디오 생성 모델에 큰 변화 없이 적용할 수 있다는 점입니다. 새로운 학습 데이터를 추가하거나 모델의 규모를 키울 필요가 없으면서도, 생성된 영상의 시각적 품질과 움직임의 자연스러움을 모두 향상시킬 수 있습니다.

이 연구는 비디오 생성에 있어 시각적 요소와 동적 요소가 서로 보완적인 관계에 있음을 보여주며, 이 두 가지 요소를 효과적으로 통합할 때 더 높은 품질의 비디오를 생성할 수 있다는 것을 입증했습니다. 이는 앞으로의 AI 비디오 생성 기술 발전에 중요한 통찰을 제공할 것으로 기대됩니다.