How LoRA Remembers? A Parametric Memory Law for LLM Finetuning

서민성·2026년 5월 30일

LoRA는 어떻게 기억하는가? LLM 파인튜닝을 위한 파라메트릭 메모리 법칙

논문 제목: How LoRA Remembers? A Parametric Memory Law for LLM Finetuning
저자: Ziwen Xu, Haiwen Hong, Linsong Yu, Benglei Cui, Longtao Huang, Hui Xue, Ningyu Zhang
소속: Zhejiang University, Alibaba Group
arXiv: 2605.30260 | HuggingFace: 논문 페이지
발표일: 2026년 5월 28일 | HF 피처일: 2026년 5월 30일 | 업보트: 20
코드: GitHub

💡 한 줄 요약

LoRA가 LLM에 지식을 "정확히 얼마나" 기억시킬 수 있는지를 파워 법칙(power law)으로 정량화하고, 이를 바탕으로 메모리 효율을 높이는 학습 전략 MemFT를 제안한 논문입니다.

📄 Abstract (초록 번역)

대형 언어 모델(LLM)은 동적으로 변화하는 실세계 환경에서 효과적으로 작동하기 위해 지속적으로 새로운 지식을 학습하고 업데이트해야 합니다. 저랭크 적응(Low-Rank Adaptation, LoRA)은 이러한 메모리 업데이트에 널리 사용되고 있지만, 기존 연구들은 주로 정성적인 다운스트림 평가에 의존해 왔습니다. 이로 인해 정확한 파라메트릭 메모리(exact parametric memory)의 정량적 용량 한계와 내부 동역학은 거의 탐구되지 않은 상태로 남아 있었습니다.

이 연구는 이러한 간극을 메우기 위해 LoRA를 잠재 공간(latent space) 내의 통제된 메모리 용량 탐침(controlled memory capacity probe)으로 활용하여 정확한 파라메트릭 메모리를 체계적으로 정량화합니다. 저자들은 파라메트릭 메모리 법칙(Parametric Memory Law)을 도입하는데, 이는 손실 감소량(ΔL)을 유효 파라미터 수 및 시퀀스 길이와 연결하는 강건한 파워 법칙입니다.

토큰 수준의 세밀한 분석에서는 결정론적 위상 전이(deterministic phase transition)가 드러나며, 예측 확률이 p > 0.5를 넘는 것이 그리디 디코딩(greedy decoding) 하에서 축어적 재현(verbatim recall)의 충분 조건임을 증명합니다.

이러한 인사이트를 바탕으로, 학습 예산을 임계값 미만의 토큰들로 동적으로 재분배하는 임계값 유도 최적화 전략인 MemFT를 소개합니다. 실험적 평가를 통해 MemFT가 메모리 충실도(memory fidelity)와 효율성을 향상시킬 수 있음을 입증합니다.

1장. Introduction (서론): 왜 LLM의 "기억"을 측정해야 하는가?

배경: 정적 지식의 한계

LLM은 다양한 태스크에서 강력한 능력을 보여주지만, 그 지식은 사전 학습된 정적 파라미터(static pretrained parameters)에 고정되어 있습니다. 현실 세계에서는 모델이 배포된 후에도 다음과 같은 새로운 정보들을 지속적으로 마주칩니다:

🔄 업데이트된 사실 정보
👤 사용자 개인 선호도
🎯 태스크별 특화 지식

이를 효율적으로 통합하는 것은 지속 학습(continual learning)과 메모리 시스템 분야의 핵심 문제입니다.

기존 접근법과 한계

비파라메트릭 방법(Non-parametric methods)은 추론 시점에 외부 컨텍스트를 제공하는 방식으로 이 문제를 해결합니다:

방법	설명	한계
인컨텍스트 학습 (ICL)	입력에 예시를 직접 포함	컨텍스트 윈도우 한계
검색 증강 생성 (RAG)	외부 DB에서 정보 검색	어텐션 희석, 연산 비용 증가
외부 메모리 시스템	비파라메트릭 외부 저장소 활용	입력 길이 증가에 따른 오버헤드

이러한 방법들은 고정된 컨텍스트 윈도우, 어텐션 희석(attention dilution), 입력 길이 증가에 따른 연산 비용 급증이라는 근본적 제약이 있습니다.

반면, 파라메트릭 메모리(parametric memory)는 정보를 직접 모델 파라미터나 모듈 구조에 내재화하여 영구적인 지식 통합과 검색 없는 내부 추론을 가능하게 합니다.

이 논문의 핵심 문제 제기

최근 LoRA를 특화된 지식 메모리 단위(specialized knowledge memory unit)로 개념화하는 연구들이 나오고 있습니다. 그러나 기존 평가들은 주로 질의응답 같은 다운스트림 태스크에 의존해, 다음 질문들이 여전히 미해결 상태였습니다:

❓ LoRA는 정확히 얼마나 많은 정보를 기억할 수 있는가?
❓ 랭크(rank) 크기와 시퀀스 길이는 메모리 용량에 어떤 정량적 관계를 갖는가?
❓ 토큰 하나하나가 "기억되었다"고 판단하는 정확한 기준은 무엇인가?

이 논문은 이 질문들에 대한 수학적으로 엄밀한 답을 제공합니다.

2장. Method (방법론): 정확한 파라메트릭 메모리 측정 프레임워크

2.1 정확한 파라메트릭 메모리 태스크 (Exact Parametric Memory Task)

저자들은 메모리 측정을 위해 다음과 같은 데이터셋을 구성합니다:

$\mathcal{D} = \{(\mathbf{q}^{(i)}, \mathbf{a}^{(i)})\}_{i=1}^{N}$

질문(q): 고유한 "키(key)" 역할 — 특정 지식을 불러오는 트리거
답변(a): 기억해야 할 "값(value)" — 실제 저장될 내용

프리즌 베이스 모델 $f_{\theta_0}$ 가 주어지면, 파라미터 증분(parameter increment) $\Delta\theta$ 를 학습하여 업데이트된 모델 $f_\theta$ 를 구성합니다. 추론 시 $\mathbf{a}^{(i)}$ 는 쿼리 $\mathbf{q}^{(i)}$ 를 통해서만 접근 가능하므로, $\Delta\theta$ 가 정보 저장의 유일한 매개체가 됩니다.

🔑 핵심 아이디어: 질문은 단순히 "키" 역할만 하므로, 모든 토큰 수준 측정값(시퀀스 길이, 손실, 정확도)은 답변 토큰에 대해서만 계산됩니다.

정확한 기억(exact memorization)을 판단하기 위해 그리디 디코딩(greedy decoding)을 사용합니다:

$\hat{a}_t = \arg\max_{v \in \mathcal{V}} p_\theta(v \mid \mathbf{q}, a_{<t})$

측정 지표 3가지

지표	설명	측정 단위
시퀀스 평균 손실	전역 최적화 프록시	시퀀스 수준
토큰 수준 손실	각 토큰의 예측 난이도	토큰 수준
정확도(Acc)	정확히 재현된 토큰의 비율	토큰 수준

2.2 LoRA 기반 파라메트릭 메모리 주입 (LoRA-based Parametric Memory Injection)

$\Delta\theta$ 를 LoRA로 구현합니다. 각 적응된 선형 레이어의 가중치 $W_0 \in \mathbb{R}^{d_{\text{out}} \times d_{\text{in}}}$ 에 저랭크 잔차 브랜치(low-rank residual branch)를 부착합니다:

$h = W_0 x + BA x = W_0 x + \Delta W x$

여기서 $r \ll \min(d_{\text{in}}, d_{\text{out}})$ 은 LoRA 랭크이고, $\Delta\theta$ 는 모든 레이어의 $(A_\ell, B_\ell)$ 쌍을 수집합니다.

💡 LoRA를 "잠재 공간 탐침(latent-space probe)"으로 보는 관점: 랭크 $r$ 은 학습 가능한 파라미터 수에 대한 단일 단조 조절 손잡이(single monotone knob)입니다. 이를 통해 용량 축을 스윕(sweep)하며 파라미터 예산이 메모리 용량과 어떤 관계를 맺는지 깔끔하게 조사할 수 있습니다.

$\theta_0$ 가 동결(frozen)되어 있으므로, $\mathcal{L}$ 이나 $\mathrm{Acc}$ 의 변화는 오직 $\Delta\theta$ 에만 기인합니다. 이 설계를 통해 LoRA의 메모리 기여를 다른 요인과 완전히 분리하여 측정할 수 있습니다.

3장. The Parametric Memory Law (파라메트릭 메모리 법칙)

이 논문의 가장 핵심적인 부분입니다. 대규모 정량 실험을 통해 LLM 파라메트릭 메모리의 거시적 스케일링 동작을 지배하는 법칙을 발견합니다.

▲ 그림 1 & 2: (a) 랭크 r과 시퀀스 길이 ℓ에 따른 ΔL의 로그-선형 의존성, (b) 예측값 vs. 실제값 비교 (R²=0.996), (c) 낮은 손실과 높은 정확도의 해리 현상

3.1 실험적 관찰: 로그-로그 공간에서의 선형성

손실 감소량(Loss Reduction)을 다음과 같이 정의합니다:

$\Delta\mathcal{L} = \mathcal{L}_{init} - \mathcal{L}_{final}$

대규모 실험(Qwen3-8B 등 여러 모델)을 통해 다음을 발견합니다:

📊 핵심 발견: $\Delta\mathcal{L}$ 은 랭크 $r$ 과 시퀀스 길이 $\ell$ 모두에 대해 로그-로그 공간(log-log space)에서 근사적 선형 관계를 보입니다.

이는 세 변수의 관계가 로그 공간에서 거의 평면 구조(nearly planar structure)를 형성한다는 것을 의미합니다.

3.2 파라메트릭 메모리 법칙 공식

이 관찰로부터 다음의 파워 법칙 공식(식 6)을 도출합니다:

$\Delta\mathcal{L} = C \cdot r^\alpha \cdot \ell^{-\beta}$

$C$ : 모델 및 데이터셋 특성에 의존하는 스케일링 상수
$\alpha > 0$ : 랭크 증가에 따른 메모리 용량 증가 지수 (랭크가 클수록 더 많이 기억)
$\beta > 0$ : 시퀀스 길이 증가에 따른 메모리 어려움 증가 지수 (길수록 기억하기 어려움)

검증 결과

지표	결과
R² 값	0.996 (거의 완벽한 적합도!)
적용 모델	Qwen3-8B 등 다수
실험 설정 수	다양한 (r, ℓ) 조합

3.3 중요한 역설: "낮은 손실 ≠ 높은 정확도"

논문에서 발견한 놀라운 현상이 있습니다. 그림 2(c)의 히트맵에서 확인할 수 있듯이:

⚠️ 손실이 거의 0에 가까워도, 토큰 수준 정확도는 여전히 0에 가까운 경우가 다수 존재합니다!

이것이 바로 논문이 단순한 "손실 기반 평가"를 넘어서야 함을 주장하는 핵심 근거입니다.

왜 이런 현상이 생길까요?

손실(loss)은 모든 토큰의 평균 예측 확률을 반영합니다
하지만 축어적 재현(verbatim recall)은 모든 토큰이 정확해야 합니다
즉, 99개의 토큰을 완벽히 예측하더라도 1개의 토큰이 틀리면 재현 실패입니다

4장. 토큰 수준 위상 전이 (Token-Level Phase Transition)

결정론적 위상 전이의 발견

토큰 수준의 세밀한 분석을 통해, 저자들은 다음과 같은 결정론적 위상 전이(deterministic phase transition)를 발견합니다:

$p_\theta(a_t \mid \mathbf{q}, a_{<t}) > 0.5 \implies \hat{a}_t = a_t \text{ (그리디 디코딩 하에서)}$

이를 더 형식적으로 표현하면:

정리: 그리디 디코딩 하에서, 어떤 토큰의 예측 확률이 p > 0.5이면, 그 토큰은 반드시 정확하게 재현됩니다. (충분 조건)

왜 p > 0.5인가?

그리디 디코딩은 $\arg\max$ 이므로, 어떤 토큰 $v^*$ 에 대해 $p_\theta(v^* \mid \cdot) > 0.5$ 라면:

다른 모든 토큰들의 확률의 합은 < 0.5
따라서 어떤 단일 토큰도 $v^*$ 보다 높은 확률을 가질 수 없음
결론: $v^*$ 가 반드시 선택됨 ✓

임계값의 실용적 의미

토큰 상태	예측 확률	재현 결과
임계값 초과	p > 0.5	✅ 반드시 정확히 재현
임계값 미만	p ≤ 0.5	❌ 재현 실패 가능

이 임계값의 발견은 단순히 이론적 흥미에 그치지 않습니다. 다음 장에서 소개할 MemFT의 설계 기반이 됩니다.

5장. MemFT: 임계값 유도 최적화 전략

5.1 핵심 아이디어

기존 파인튜닝은 모든 토큰을 균등하게 학습합니다. 하지만 파라메트릭 메모리 법칙과 위상 전이 발견에서 얻은 인사이트를 결합하면 더 스마트한 전략이 가능합니다:

💡 MemFT의 핵심: "이미 p > 0.5를 넘어 기억된 토큰에 대한 학습 예산은 낭비다. 아직 임계값을 넘지 못한 서브-임계 토큰(sub-threshold tokens)에 학습 자원을 집중하자!"

5.2 동적 예산 재분배 메커니즘

MemFT의 작동 과정:

1단계: 각 학습 스텝에서 토큰별 예측 확률 p 계산
2단계: p > 0.5인 토큰 = "이미 기억됨" → 학습 가중치 감소
3단계: p ≤ 0.5인 토큰 = "아직 미달" → 학습 가중치 증가
4단계: 재분배된 가중치로 손실 재계산 및 역전파

이 접근법은 다음과 같은 장점을 갖습니다:

📈 메모리 충실도(memory fidelity) 향상: 어려운 토큰에 집중 투자
⚡ 학습 효율성(training efficiency) 개선: 이미 학습된 토큰에 자원 낭비 없음
🔧 추가 파라미터 불필요: 기존 LoRA 구조 그대로 사용

5.3 실험 결과

MemFT는 기존 균등 학습 방식 대비:

메모리 충실도 측면에서 일관된 향상 달성
특히 긴 시퀀스와 낮은 랭크 설정에서 효과가 두드러짐
동일한 학습 예산 내에서 더 많은 토큰을 임계값 이상으로 끌어올림

6장. Experiments (실험)

실험 설계

저자들은 다양한 모델과 설정에서 파라메트릭 메모리 법칙의 보편성을 검증합니다.

실험 변수:

LoRA 랭크(r): 다양한 값으로 스윕
시퀀스 길이(ℓ): 단문에서 장문까지
베이스 모델: Qwen3-8B 등 다수

평가 지표:
1. 손실 감소량 $\Delta\mathcal{L}$ 의 예측 정확도
2. 토큰 수준 정확도
3. 완전한 시퀀스 재현율

주요 실험 결과 요약

결과 1: 파라메트릭 메모리 법칙의 높은 예측 정확도

모델	R² 값	설명
Qwen3-8B	0.996	거의 완벽한 피팅
기타 모델들	유사하게 높음	법칙의 보편성 확인

결과 2: 위상 전이의 실험적 확인

p > 0.5 기준이 실제로 거의 완벽한 재현율과 대응됨
p < 0.5 구간에서는 급격한 재현율 하락

결과 3: MemFT vs. 기준선 비교

설정	기존 방식 정확도	MemFT 정확도	개선율
짧은 시퀀스 (낮은 r)	기준	향상	✅
긴 시퀀스 (낮은 r)	기준	더 큰 향상	✅✅
긴 시퀀스 (높은 r)	기준	향상	✅

※ 구체적 수치는 논문 전문 참조. 전반적으로 MemFT가 모든 설정에서 기존 방식을 상회

흥미로운 부가 발견

"메모리 병목(memory bottleneck)" 토큰의 존재:

시퀀스 내 모든 토큰이 동등하게 어려운 것이 아님
일부 고빈도/예측 가능한 토큰은 금방 임계값을 넘음
일부 희귀/문맥 의존적 토큰이 전체 재현을 가로막는 병목 역할
MemFT는 바로 이 병목 토큰에 학습을 집중함

7장. Conclusion (결론 및 한계)

주요 기여 정리

이 논문의 세 가지 핵심 기여:

파라메트릭 메모리 법칙(Parametric Memory Law)
- LoRA 기반 파인튜닝의 메모리 용량을 정량화하는 파워 법칙 발견
- $\Delta\mathcal{L} = C \cdot r^\alpha \cdot \ell^{-\beta}$ (R² = 0.996으로 검증)
위상 전이 임계값(Phase Transition Threshold)
- p > 0.5가 그리디 디코딩에서 축어적 재현의 충분 조건임을 증명
- 단순 손실 기반 평가의 함정 지적
MemFT 최적화 전략
- 임계값 기반으로 학습 예산을 동적 재분배
- 추가 파라미터 없이 메모리 효율 향상

한계 및 향후 연구 방향

논문에서 암시하는 한계점들:

🔬 단일 도메인 집중: 주로 사실 기반 지식 메모리에 초점; 절차적/추론적 지식에 대한 검증 필요
📏 스케일 한계: 매우 큰 모델(수백억 파라미터 이상)에서의 법칙 보편성 추가 검증 필요
🔄 지속 학습 시나리오: 순차적으로 여러 지식을 주입할 때의 망각(catastrophic forgetting) 문제
🎛️ 하이퍼파라미터 민감도: $C$ , $\alpha$ , $\beta$ 값이 모델/데이터셋마다 다름 → 자동 추정 방법 개발 필요

✍️ 개인 소감

이 논문이 가장 인상적인 이유는 "LoRA가 얼마나 기억하는가?"라는 단순하지만 아무도 제대로 대답하지 않았던 질문에 수학적으로 엄밀한 답을 제시한다는 점입니다. 기존 연구들이 "파인튜닝 후 질의응답 성능이 올랐다"는 식의 간접적 평가에 머물렀다면, 이 논문은 메모리 용량 자체를 직접 측정하는 프레임워크를 구축했습니다. R² = 0.996이라는 놀라운 적합도를 가진 파워 법칙의 발견은, LLM의 메모리 동작이 생각보다 훨씬 규칙적이고 예측 가능한 물리적 법칙을 따른다는 것을 시사합니다. 신경 스케일링 법칙(neural scaling laws)이 모델 성능의 거시적 동작을 설명했듯, 파라메트릭 메모리 법칙은 지식 주입의 미시적 동작을 설명하는 새로운 도구가 될 수 있을 것 같습니다.

p > 0.5 위상 전이 발견도 매우 우아합니다. 수학적으로 보면 너무 당연한 이야기처럼 보일 수 있지만("그리디 디코딩에서 최대값이 0.5 넘으면 그게 선택되는 거잖아"), 이것이 메모리 측정의 실용적 기준으로 명시적으로 활용된 적이 없었다는 점에서 신선합니다. 특히 "낮은 손실 ≠ 높은 정확도"라는 역설을 이 임계값 개념으로 명쾌하게 # (이어서)

✍️ 개인 소감 (계속)

설명하는 부분은, 실무에서 파인튜닝 결과를 평가할 때 단순히 학습 손실이 낮아졌다고 안심해서는 안 된다는 중요한 교훈을 줍니다. 실제로 많은 엔지니어들이 "훈련 손실이 충분히 낮아졌으니 됐다"고 판단하는 경우가 많은데, 이 논문은 그것이 얼마나 위험한 착각일 수 있는지를 정량적으로 보여줍니다.

MemFT의 아이디어 역시 실용적입니다. "이미 배운 것에 시간을 낭비하지 말고, 아직 못 배운 것에 집중하라"는 원칙은 사람의 학습 심리학에서도 잘 알려진 간격 반복(spaced repetition)이나 어려운 예제 집중 훈련(hard example mining)과 맥을 같이 합니다. 다만 이를 토큰 수준의 확률 임계값으로 동적으로 구현했다는 점이 새롭습니다. 향후 이 프레임워크가 단순한 사실 주입을 넘어 다중 도메인 지속 학습, 개인화 모델, 지식 편집(knowledge editing) 등 더 복잡한 시나리오에도 적용될 수 있기를 기대합니다. LLM의 "기억"을 이해하는 데 있어서 이 논문은 분명 중요한 이정표가 될 것입니다.

📚 논문 핵심 개념 용어 정리

논문을 처음 접하는 독자들을 위해 핵심 용어를 한 번 더 정리합니다:

영문 용어	한국어 번역	간단 설명
Low-Rank Adaptation (LoRA)	저랭크 적응	모델 가중치에 저랭크 행렬을 추가하는 경량 파인튜닝 기법
Parametric Memory	파라메트릭 메모리	모델 파라미터 안에 직접 저장된 지식
Exact Parametric Memory	정확한 파라메트릭 메모리	축어적으로 재현 가능한 수준의 완전한 기억
Loss Reduction (ΔL)	손실 감소량	학습 전후 손실 함수의 차이
Power Law	파워 법칙	y = C·x^α 형태의 지수 관계 법칙
Phase Transition	위상 전이	특정 임계값을 기준으로 동작이 급격히 변하는 현상
Verbatim Recall	축어적 재현	원문을 한 글자도 틀리지 않고 정확히 출력하는 것
Greedy Decoding	그리디 디코딩	매 스텝마다 가장 높은 확률의 토큰을 선택하는 디코딩 방식
Sub-threshold Token	서브-임계 토큰	예측 확률이 아직 0.5를 넘지 못한 토큰
Latent Space Probe	잠재 공간 탐침	모델 내부 잠재 공간을 탐색하는 분석 도구
Memory Fidelity	메모리 충실도	기억한 내용을 얼마나 정확하게 재현하는지의 척도
Continual Learning	지속 학습	새로운 지식을 지속적으로 학습하면서 기존 지식을 유지하는 학습 패러다임
Attention Dilution	어텐션 희석	입력이 길어질수록 어텐션이 분산되어 중요 정보에 집중하기 어려워지는 현상
Retrieval-Augmented Generation (RAG)	검색 증강 생성	외부 데이터베이스에서 관련 정보를 검색하여 생성에 활용하는 방법
Scaling Law	스케일링 법칙	모델 크기, 데이터, 연산량과 성능 간의 정량적 관계 법칙

🔗 관련 연구 및 추가 읽을거리

이 논문을 더 깊이 이해하고 싶다면 다음 연구들을 함께 읽어보시기를 추천합니다:

기반 연구

LoRA 원논문 (Hu et al., 2022): LoRA의 기본 개념과 수식 이해에 필수
신경 스케일링 법칙 (Kaplan et al., 2020): 파라메트릭 메모리 법칙의 선조격인 연구
Jelassi et al. (2024): 정확한 파라메트릭 메모리화 태스크 설계에 영향을 준 연구

후속 연구 방향으로 연결되는 논문

지식 편집(Knowledge Editing) 관련 연구들: 파라미터 직접 수정을 통한 지식 업데이트
지속 학습(Continual Learning) 관련 연구들: 순차적 지식 주입 시 망각 방지
RAG vs. 파인튜닝 비교 연구들: 비파라메트릭 vs. 파라메트릭 메모리의 트레이드오프

🏷️ 태그

#LLM #LoRA #파인튜닝(Finetuning) #파라메트릭메모리(ParametricMemory) #스케일링법칙(ScalingLaw) #메모리용량(MemoryCapacity) #지식주입(KnowledgeInjection) #지속학습(ContinualLearning) #NLP #딥러닝(DeepLearning) #Qwen #위상전이(PhaseTransition) #MemFT #지식편집(KnowledgeEditing) #토큰수준분석(TokenLevelAnalysis)

📌 이 포스트는 arXiv에 공개된 논문 "How LoRA Remembers? A Parametric Memory Law for LLM Finetuning"을 한국어로 번역·해설한 것입니다. 논문의 모든 저작권은 원저자(Ziwen Xu, Haiwen Hong, Linsong Yu, Benglei Cui, Longtao Huang, Hui Xue, Ningyu Zhang)에게 있습니다.

💻 코드는 GitHub에서 확인하실 수 있습니다.

서민성

기록하는 습관을 기르고 싶습니다

이전 포스트

OmniRetrieval: Unified Retrieval across Heterogeneous Knowledge Sources

다음 포스트