How LoRA Remembers? A Parametric Memory Law for LLM Finetuning

서민성·2026년 5월 31일

LoRA는 어떻게 기억하는가? LLM 파인튜닝을 위한 파라메트릭 메모리 법칙

논문 제목: How LoRA Remembers? A Parametric Memory Law for LLM Finetuning
저자: Ziwen Xu, Haiwen Hong, Linsong Yu, Benglei Cui, Longtao Huang, Hui Xue, Ningyu Zhang
소속: Zhejiang University, Alibaba Group
arXiv: 2605.30260
HuggingFace: 논문 페이지
GitHub: zjunlp/ParametricMemoryLaw
발표일: 2025년 5월 28일 | HF 피처일: 2025년 5월 31일 | 업보트: 25

💡 한 줄 요약

LoRA가 LLM에 새로운 지식을 "얼마나, 어떻게" 기억할 수 있는지를 멱법칙(Power Law) 으로 정량화하고, 이를 바탕으로 학습 효율을 높이는 MemFT 전략을 제안한다.

📄 Abstract (초록 번역)

대형 언어 모델(LLM, Large Language Models)은 빠르게 변화하는 현실 환경에서 효과적으로 기능하려면 새로운 지식을 지속적으로 학습하고 갱신해야 합니다. 이러한 지식 갱신에는 저랭크 적응(LoRA, Low-Rank Adaptation) 기법이 널리 사용되고 있지만, 기존 연구들은 대부분 정성적(qualitative)인 하위 태스크 평가에만 의존해 왔습니다. 그 결과, 파라메트릭 메모리(Parametric Memory) 의 정량적 용량 한계와 내부 동작 메커니즘은 아직까지 충분히 탐구되지 않은 상태입니다.

이 연구는 이러한 공백을 메우기 위해, LoRA를 잠재 공간(latent space) 내 통제된 메모리 용량 탐침(controlled memory capacity probe) 으로 활용하여 정확한 파라메트릭 메모리를 체계적으로 정량화합니다. 핵심 기여로는 파라메트릭 메모리 법칙(Parametric Memory Law) 을 도입하는데, 이는 손실 감소량(ΔL)을 유효 파라미터 수와 시퀀스 길이와 연결하는 강건한 멱법칙입니다.

토큰 수준의 세밀한 분석을 통해 결정론적 위상 전이(deterministic phase transition) 를 발견하였으며, 예측 확률 p > 0.5가 탐욕적 디코딩(greedy decoding) 하에서 축어적 재현(verbatim recall)의 충분조건임을 증명합니다.

이러한 인사이트를 바탕으로, 학습 예산을 임계값 미만 토큰 쪽으로 동적으로 재분배하는 임계값 기반 최적화 전략 MemFT를 소개합니다. 실험적 평가를 통해 MemFT가 메모리 충실도(memory fidelity)와 효율성을 동시에 향상시킬 수 있음을 입증합니다.

1. 서론 (Introduction)

배경: LLM의 지식은 왜 갱신이 필요한가?

대형 언어 모델(LLM)은 수많은 태스크에서 뛰어난 능력을 보이며 실제 시스템에 광범위하게 활용되고 있습니다. 그러나 LLM의 지식은 사전 학습(pretraining) 파라미터에 정적으로 인코딩되어 있어, 배포 후에는 거의 고정된 상태로 유지됩니다.

현실에서 모델은 끊임없이 새로운 정보를 마주칩니다:

업데이트된 사실(updated facts)
사용자 선호도(user preferences)
태스크 특화 지식(task-specific knowledge)

이러한 정보를 효율적으로 통합하는 것은 지속적 학습(continual learning) 과 메모리 시스템 분야의 핵심 과제입니다.

기존 접근법과 한계

지식 통합 방법은 크게 두 가지로 나뉩니다:

🔵 비파라메트릭 방법 (Non-parametric Methods)

인컨텍스트 학습(ICL, In-Context Learning): 추론 시 예시를 문맥에 직접 제공
검색 증강 생성(RAG, Retrieval-Augmented Generation): 외부 지식베이스에서 관련 문서를 검색해 활용
외부 메모리 시스템: 모델 파라미터를 수정하지 않고 동적으로 정보를 통합

⚠️ 한계: 고정된 컨텍스트 윈도우, 주의 희석(attention dilution), 입력 길이에 따라 기하급수적으로 증가하는 계산 비용

🟠 파라메트릭 방법 (Parametric Methods)

정보를 파라미터나 모듈 구조에 직접 내재화
영구적인 지식 통합 및 검색 없는 내부 추론 가능
LoRA(Low-Rank Adaptation): 최근 연구에서 특화된 지식 메모리 단위로 개념화

⚠️ 문제점: 기존 평가는 대부분 질의응답 같은 하위 기능 태스크에 의존, LoRA의 정확한 메모리 용량 한계와 내부 동작을 정량적으로 이해하는 연구는 부재

이 논문의 기여

이 논문은 다음 세 가지 핵심 기여를 합니다:

파라메트릭 메모리 법칙 발견: LoRA 기반 메모리의 거시적 스케일링 동작을 멱법칙으로 정량화
위상 전이 발견: 토큰 수준에서 p > 0.5라는 결정론적 임계값 발견
MemFT 제안: 위 인사이트를 활용한 실용적 최적화 전략

2. 방법론 (Methodology)

2.1 정확한 파라메트릭 메모리 태스크 (Exact Parametric Memory Task)

문제 정의

연구팀은 정확한 파라메트릭 메모리화(exact parametric memorization)를 다음과 같이 정식화합니다.

데이터셋: $\mathcal{D} = \{(\mathbf{q}^{(i)}, \mathbf{a}^{(i)})\}_{i=1}^{N}$

$\mathbf{q}^{(i)}$ : 고유 키(unique key)로 작동하는 질문
$\mathbf{a}^{(i)} = (a_1^{(i)}, \ldots, a_{\ell_i}^{(i)})$ : 목표 내용(target content)인 답변

목표: 동결된(frozen) 기반 모델 $f_{\theta_0}$ 가 주어졌을 때, 파라미터 증분(parameter increment) $\Delta\theta$ 를 학습하여 업데이트된 모델 $f_\theta$ 를 구성

$\theta = (\theta_0, \Delta\theta)$

핵심 아이디어: 추론 시 $\mathbf{a}^{(i)}$ 는 $\mathbf{q}^{(i)}$ 를 통해서만 접근 가능하므로, $\Delta\theta$ 가 정보 저장의 유일한 매체가 됩니다. 이는 메모리화를 순수한 파라미터 쓰기(parameter writing) 문제로 단순화합니다.

중요한 설계 선택

질문 토큰은 조건 컨텍스트로만 사용: 시퀀스 길이 $\ell$ , 손실, 정확도 등 모든 토큰 수준 지표는 답변 토큰에 대해서만 계산
탐욕적 디코딩 채택: 정확한 메모리화는 결정론적이고 재현 가능한 디코딩 규칙이 필요하므로 $\hat{a}_t = \arg\max_{v \in \mathcal{V}} p_\theta(v|\mathbf{q}, a_{<t})$ 사용

평가 지표 (세 가지 수준)

지표	설명	수준
시퀀스 평균 손실(Sequence-Averaged Loss)	전역 최적화 프록시, 거시적 손실	거시적
토큰 정확도(Token Accuracy)	올바르게 예측된 토큰 비율	중간
시퀀스 정확도(Sequence Accuracy)	전체 시퀀스의 완전 일치 여부	미시적

💡 왜 세 가지 지표가 필요한가? 나중에 논문에서 발견하듯이, 낮은 손실 ≠ 높은 정확도입니다. 이 세 지표의 괴리가 파라메트릭 메모리의 핵심 수수께끼를 드러냅니다.

2.2 LoRA 기반 파라메트릭 메모리 주입 (LoRA-based Parametric Memory Injection)

$\Delta\theta$ 를 LoRA로 구현합니다. 동결된 가중치 $W_0 \in \mathbb{R}^{d_{out} \times d_{in}}$ 을 가진 각 선형 레이어에 저랭크 잔차 브랜치(low-rank residual branch)를 추가합니다:

$W = W_0 + \Delta W = W_0 + BA$

여기서:

$B \in \mathbb{R}^{d_{out} \times r}$ , $A \in \mathbb{R}^{r \times d_{in}}$
$r \ll \min(d_{in}, d_{out})$ : LoRA 랭크

$\text{출력} = W_0 x + BAx$

LoRA를 탐침으로 사용하는 이유

LoRA를 잠재 공간 탐침(latent-space probe)으로 봅니다: 랭크 $r$ 은 학습 가능한 파라미터 수를 조절하는 단일 단조 증가 knob으로, 용량 축을 스윕(sweep)하며 파라미터 예산과 메모리 용량의 관계를 깔끔하게 검토할 수 있습니다.

$\theta_0$ 이 동결되므로, $\mathcal{L}$ 또는 정확도의 모든 변화는 오직 $\Delta\theta$ 에만 기인합니다. 이는 통제된 실험을 가능하게 하는 핵심 설계입니다.

3. 파라메트릭 메모리 법칙 (The Parametric Memory Law)

이 섹션이 논문의 핵심입니다. 대규모 정량 실험을 통해 파라메트릭 메모리를 지배하는 법칙을 발견합니다.

그림 1: LoRA가 LLM의 잠재 공간에서 플러그 가능한 메모리 단위로 작동하는 개념도. LoRA 모듈(랭크 r)이 레이어 k에서 문맥 지식을 잔차 스트림에 인코딩하며, 파라메트릭 메모리 법칙은 용량-파라미터 간 트레이드오프를 정량화한다.

3.1 경험적 관찰: 로그-로그 공간에서의 선형성

손실 감소량 정의

$\Delta\mathcal{L} = \mathcal{L}_{init} - \mathcal{L}_{final}$

$\mathcal{L}_{init}$ : 파인튜닝 전 초기 손실
$\mathcal{L}_{final}$ : 충분한 학습 후 최종 손실

연구팀은 다양한 (랭크 $r$ , 시퀀스 길이 $\ell$ ) 조합에 대해 실험하여 로그-로그 공간에서의 선형성(log-linear dependence) 을 발견합니다:

$\log(\Delta\mathcal{L}) \approx \alpha \log(r) + \beta \log(\ell) + \gamma$

이를 원래 공간으로 변환하면:

$\Delta\mathcal{L} = C \cdot r^\alpha \cdot \ell^\beta$

실험 결과 핵심 수치:

$R^2 = 0.996$ : 예측값과 실제값의 매우 높은 일치도
로그 공간에서 거의 평면적 구조(nearly planar structure) 형성

🔑 발견 1: 낮은 손실 ≠ 높은 정확도

실험에서 놀라운 현상이 관찰됩니다. 아래 히트맵 분석에서:

손실은 0에 가깝게 수렴하는 경우
정확도는 여전히 0에 가까운 경우

이 두 가지가 동시에 발생합니다! 즉, 손실이 최소화되더라도 모델이 정확하게 토큰을 재현하지 못하는 역설적 상황이 존재합니다.

💡 이것이 논문에서 "손실과 정확도의 디커플링(decoupling of low loss and high accuracy)" 이라고 부르는 핵심 현상입니다.

3.2 파라메트릭 메모리 법칙 공식화

위 관찰을 바탕으로 파라메트릭 메모리 법칙(Parametric Memory Law) 을 다음과 같이 정식화합니다:

$\boxed{\Delta\mathcal{L} = C \cdot \left(\frac{N_{eff}}{\ell}\right)^\alpha}$

여기서:

$N_{eff}$ : 유효 파라미터 수(effective parameters) - LoRA 랭크와 관련
$\ell$ : 시퀀스 길이
$C$ , $\alpha$ : 모델별 상수

이 법칙의 의미:

관계	해석
$N_{eff}$ 증가 → $\Delta\mathcal{L}$ 증가	파라미터가 많을수록 더 많이 학습
$\ell$ 증가 → $\Delta\mathcal{L}$ 감소	시퀀스가 길수록 같은 파라미터로 학습하기 어려움
멱법칙 관계	스케일링 법칙(Scaling Law)과 유사한 보편적 패턴

🌟 중요한 시사점: 이 법칙은 OpenAI의 스케일링 법칙(Scaling Laws for Neural Language Models)과 유사하게, LLM의 파인튜닝 메모리 용량도 예측 가능한 수학적 법칙을 따른다는 것을 보여줍니다!

4. 토큰 수준 분석과 위상 전이 (Token-Level Analysis & Phase Transition)

4.1 결정론적 위상 전이 발견

논문의 또 다른 핵심 발견입니다. 토큰 수준의 세밀한 분석을 통해 결정론적 위상 전이(deterministic phase transition) 를 발견합니다:

$\text{예측 확률 } p > 0.5 \Rightarrow \text{탐욕적 디코딩에서 축어적 재현(verbatim recall) 보장}$

왜 p > 0.5가 임계값인가?

탐욕적 디코딩에서:
$\hat{a}_t = \arg\max_{v \in \mathcal{V}} p_\theta(v|\mathbf{q}, a_{<t})$

어휘(vocabulary) 전체 확률 합이 1이고, 탐욕적 디코딩은 최대 확률 토큰을 선택하므로:

p > 0.5: 해당 토큰이 다른 모든 토큰보다 높은 확률 → 반드시 선택됨 ✅
p < 0.5: 다른 토큰이 선택될 수 있음 ❌

이는 수학적으로 충분조건(sufficient condition) 임이 증명됩니다.

위상 전이의 특성

구간	토큰 상태	정확도 영향
p < 0.5 (서브-임계값)	불안정, 오류 가능	시퀀스 정확도 0
p ≈ 0.5 (임계값)	위상 전이 지점	급격한 변화
p > 0.5 (초과-임계값)	안정적, 정확 재현	기여도 확정

💡 실용적 의미: 이 발견은 "어떤 토큰을 더 학습해야 하는가?"에 대한 명확한 답을 제시합니다. p < 0.5인 서브-임계값 토큰이 메모리 실패의 병목이 됩니다!

4.2 손실-정확도 디커플링 설명

이제 앞서 발견한 역설적 현상을 설명할 수 있습니다:

시나리오: 99개 토큰은 p = 0.99 (매우 높음), 1개 토큰은 p = 0.3 (임계값 미달)

평균 손실: 매우 낮음 (99개가 손실에 기여하는 비중이 압도적)
시퀀스 정확도: 0 (단 1개 토큰이 틀려도 전체 시퀀스 재현 실패)

바로 이것이 낮은 손실 ≠ 높은 정확도인 이유입니다!

5. MemFT: 임계값 기반 최적화 전략

5.1 동기

기존 파인튜닝의 문제:

모든 토큰에 균등하게 학습 예산 분배
이미 임계값을 초과한 토큰(p > 0.5)도 지속적으로 학습
병목이 되는 서브-임계값 토큰에 충분한 학습 불가

5.2 MemFT 핵심 아이디어

임계값 기반 동적 학습 예산 재분배(threshold-guided dynamic training budget redistribution):

기존 방식:
모든 토큰 → 균등 학습 예산

MemFT 방식:
p > 0.5 토큰 → 학습 예산 감소/제거
p < 0.5 토큰 → 학습 예산 집중 증가

5.3 MemFT 알고리즘

학습 과정에서 동적으로:

토큰별 예측 확률 모니터링: 각 학습 스텝에서 모든 토큰의 $p_\theta(a_t|\mathbf{q}, a_{<t})$ 계산
임계값 판별: p > 0.5인 토큰을 "메모리화 완료" 상태로 표시
손실 마스킹/재가중:
- 서브-임계값 토큰: 높은 가중치 (더 강하게 학습)
- 초과-임계값 토큰: 낮은 가중치 또는 마스킹

$\mathcal{L}_{MemFT} = \sum_{t} w_t \cdot \mathcal{L}_t(\theta)$

$w_t = \begin{cases} w_{high} & \text{if } p_\theta(a_t|\cdot) < 0.5 \\ w_{low} & \text{if } p_\theta(a_t|\cdot) \geq 0.5 \end{cases}$

5.4 MemFT의 장점

측면	기존 방법	MemFT
학습 예산 분배	균등	동적, 병목 집중
임계값 초과 토큰 처리	계속 학습	학습 감소
메모리 충실도	낮음	향상
학습 효율	표준	향상

6. 실험 (Experiments)

6.1 실험 설정

모델: Qwen3-8B를 주요 모델로 사용, 다양한 모델 크기에서 검증

데이터:

다양한 길이의 텍스트 시퀀스
질문-답변 쌍 형태
답변 길이 $\ell$ 을 체계적으로 변화

LoRA 설정:

랭크 $r$ : 다양한 값으로 실험 (1, 2, 4, 8, 16, 32, 64 등)
모든 선형 레이어에 LoRA 적용

6.2 파라메트릭 메모리 법칙 검증

그림 2(a) - 로그-선형 의존성:

$\Delta\mathcal{L}$ 은 랭크 $r$ 과 길이 $\ell$ 에 대해 근사적 로그-선형 감소
로그 공간에서 거의 평면적 구조 형성

그림 2(b) - 예측 vs. 실제 $\Delta\mathcal{L}$ :

$R^2 = 0.996$ 의 매우 높은 설명력
법칙의 강건성(robustness) 입증

그림 2(c) - 손실-정확도 디커플링:

다양한 $(r, \ell)$ 설정에서 손실은 0에 가깝지만 정확도가 0에 가까운 사례 다수 발견
두 지표의 근본적 분리 확인

6.3 위상 전이 실험 결과

토큰 수준 분석에서:

p = 0.5 근방에서 급격한 정확도 변화 관찰
임계값 전후의 이진적(binary) 동작 패턴 확인
위상 전이의 결정론적 특성 검증

6.4 MemFT 성능 평가

방법	메모리 충실도	학습 효율	시퀀스 정확도
표준 LoRA 파인튜닝	기준	기준	기준
MemFT	향상 ↑	향상 ↑	향상 ↑

핵심 결과: MemFT는 특히 긴 시퀀스와 제한된 파라미터 예산 조건에서 더 큰 향상을 보여줍니다. 이는 병목 토큰에 집중하는 전략이 가장 필요한 상황에서 효과를 발휘함을 의미합니다.

6.5 스케일링 분석

다양한 모델 크기에서 파라메트릭 메모리 법칙의 보편성 검증:

법칙의 형태( $\Delta\mathcal{L} = C \cdot (N_{eff}/\ell)^\alpha$ )는 모델 크기와 무관하게 성립
상수 $C$ 와 지수 $\alpha$ 는 모델별로 다를 수 있음
이는 법칙이 아키텍처 불변(architecture-invariant) 한 보편적 현상임을 시사

7. 결론 (Conclusion)

주요 기여 정리

이 논문은 LoRA 기반 파라메트릭 메모리에 대한 세 가지 핵심 발견을 제시합니다:

① 파라메트릭 메모리 법칙
$\Delta\mathcal{L} = C \cdot \left(\frac{N_{eff}}{\ell}\right)^\alpha$

LLM 파인튜닝의 메모리 용량을 예측 가능한 멱법칙으로 정량화
$R^2 = 0.996$ 의 높은 적합도로 강건성 입증

② 결정론적 위상 전이

p > 0.5라는 명확한 임계값이 탐욕적 디코딩에서 축어적 재현의 충분조건
손실-정확도 디커플링 현상을 수학적으로 설명

③ MemFT 최적화 전략

위 인사이트에서 이어서 작성하겠습니다.

③ MemFT 최적화 전략

위 인사이트를 실용적 알고리즘으로 구현
서브-임계값 토큰에 학습 예산을 동적으로 집중
메모리 충실도와 효율성 동시 향상

한계점 및 향후 연구

현재 한계:

실험이 주로 Qwen3-8B에 집중되어 있어, 다양한 아키텍처에 대한 검증 필요
법칙의 상수 $C$ 와 지수 $\alpha$ 를 미리 예측하는 방법론 미제시
매우 긴 시퀀스(수천 토큰 이상)에서의 동작은 추가 검증 필요
MemFT의 동적 재가중 과정에서 발생하는 추가 계산 비용 분석 필요

향후 연구 방향:
1. 다양한 LLM 아키텍처에서 법칙의 보편성 추가 검증
2. 파라메트릭 메모리와 비파라메트릭 메모리의 통합 프레임워크 개발
3. 지속적 학습(continual learning) 시나리오에서의 망각(forgetting) 문제와의 연관성 탐구
4. MemFT를 실제 지식 편집(knowledge editing) 태스크에 적용

📊 논문의 핵심 수식 총정리

독자의 이해를 돕기 위해 논문의 핵심 수식들을 한데 모아 정리합니다.

1. 파라메트릭 메모리 법칙

$\Delta\mathcal{L} = C \cdot \left(\frac{N_{eff}}{\ell}\right)^\alpha$

변수	의미
$\Delta\mathcal{L}$	손실 감소량 (메모리화 정도를 나타내는 거시 지표)
$C$	모델별 스케일 상수
$N_{eff}$	유효 파라미터 수 (LoRA 랭크 $r$ 에 비례)
$\ell$	답변 시퀀스 길이 (토큰 수)
$\alpha$	멱법칙 지수 (모델별 상수)

2. LoRA 순전파

$\text{출력} = W_0 x + BAx = (W_0 + BA)x$

3. 탐욕적 디코딩

$\hat{a}_t = \arg\max_{v \in \mathcal{V}} p_\theta(v|\mathbf{q}, a_{<t})$

4. 위상 전이 임계값

$p_\theta(a_t|\mathbf{q}, a_{<t}) > 0.5 \Rightarrow \hat{a}_t = a_t \text{ (정확한 재현 보장)}$

5. MemFT 가중 손실

$\mathcal{L}_{MemFT} = \sum_{t} w_t \cdot \mathcal{L}_t(\theta), \quad w_t = \begin{cases} w_{high} & p < 0.5 \\ w_{low} & p \geq 0.5 \end{cases}$

스케일링 법칙 (Scaling Laws)

이 논문은 신경망의 스케일링 법칙 연구 흐름과 깊은 연관이 있습니다.

Kaplan et al. (2020) - OpenAI 스케일링 법칙:

모델 크기, 데이터 크기, 연산량과 성능의 멱법칙 관계 발견
"더 큰 모델 = 더 좋은 성능"을 수학적으로 예측 가능하게 만듦

Hoffmann et al. (2022) - Chinchilla 법칙:

최적 모델 크기와 학습 데이터의 균형 관계 제시
모델 크기와 데이터 수가 동등하게 중요함을 발견

이 논문의 위치:

사전 학습이 아닌 파인튜닝 단계에서의 스케일링 법칙
파라미터 수가 아닌 메모리 용량을 중심으로 한 새로운 관점
기존 스케일링 법칙의 파인튜닝 버전으로 볼 수 있음

파라메트릭 메모리 연구

연구 흐름	핵심 내용	이 논문과의 관계
지식 저장(Knowledge Storage)	LLM의 파라미터가 사실적 지식을 저장하는 방식 연구	기반 개념 제공
지식 편집(Knowledge Editing)	특정 사실을 정밀하게 수정하는 방법	응용 도메인
기억 메커니즘(Memorization)	LLM이 학습 데이터를 기억하는 방식 연구	직접적 관련
지속적 학습(Continual Learning)	새 지식 학습 시 기존 지식 망각 방지	실용적 응용

LoRA 및 PEFT 연구

LoRA (Hu et al., 2022):

저랭크 행렬 분해로 파인튜닝 파라미터 수를 극적으로 줄임
전체 모델 파인튜닝에 준하는 성능을 훨씬 적은 파라미터로 달성

LoRA 변형들:

AdaLoRA: 랭크를 레이어별로 적응적으로 할당
QLoRA: 양자화와 LoRA 결합으로 메모리 효율 극대화
LoRA+: 학습률 차별화로 성능 향상

이 논문의 독창성:

LoRA를 도구(tool) 가 아닌 탐침(probe) 으로 활용
LoRA의 "무엇을 할 수 있는가"보다 "어떻게 작동하는가"에 집중
LoRA 메모리 용량의 이론적 한계 를 처음으로 정량화

🎯 이 논문이 중요한 이유: 개인 소감

🌐 파인튜닝의 "물리 법칙"을 발견한 의미

솔직히 이 논문을 처음 접했을 때 가장 인상적이었던 부분은 "스케일링 법칙을 파인튜닝으로 가져왔다" 는 발상이었습니다. 2020년 OpenAI가 사전 학습에서 멱법칙을 발견했을 때 AI 커뮤니티가 받은 충격처럼, 이 논문은 파인튜닝 단계에서도 동일하게 예측 가능한 수학적 법칙이 존재한다는 것을 보여줍니다.

실무적으로도 이 법칙은 매우 가치 있습니다. 예를 들어 "내가 기억시키고 싶은 문서의 길이가 500토큰인데, 얼마나 큰 LoRA 랭크가 필요할까?" 라는 질문에 실험 없이 수식으로 답할 수 있게 됩니다. 이는 마치 공학에서 재료의 강도를 계산하는 것처럼, AI 엔지니어링을 더 체계적인 학문으로 만드는 첫걸음입니다.

🔬 위상 전이 발견의 우아함

p > 0.5라는 임계값은 수학적으로는 당연해 보이지만, 이것이 실제 LLM에서 이처럼 명확하게 나타난다는 사실 자체가 놀랍습니다. 복잡한 신경망 시스템에서 이토록 깔끔한 이진적(binary) 위상 전이가 관찰된다는 것은, LLM의 내부 동작이 우리가 생각하는 것보다 훨씬 더 규칙적이고 예측 가능할 수 있음을 시사합니다.

또한 "낮은 손실 = 좋은 성능"이라는 머신러닝의 암묵적 가정에 정면으로 도전한다는 점에서도 의미가 깊습니다. 이 발견은 우리가 최적화하는 목표(손실)와 실제로 원하는 목표(정확한 재현) 사이의 간극 을 명확히 드러냅니다. 이 통찰은 단순히 파라메트릭 메모리를 넘어, LLM 학습 전반에 걸쳐 재고해야 할 중요한 질문을 제기합니다.

🚀 MemFT와 실용적 함의

MemFT는 이론적 발견을 실용적 알고리즘으로 연결하는 우아한 브릿지입니다. 특히 RAG나 ICL이 어려운 엣지 디바이스 환경, 오프라인 추론, 지속적 지식 갱신 시나리오에서 LoRA 기반 파라메트릭 메모리의 효율을 높이는 실용적 가이드라인을 제공합니다.

한 가지 아쉬운 점은 MemFT의 동적 재가중 과정에서 발생하는 추가 계산 오버헤드에 대한 상세한 분석이 아직 부족하다는 것입니다. 또한 법칙의 상수 $C$ 와 $\alpha$ 를 새로운 모델에 대해 사전에 효율적으로 추정하는 방법이 명확히 제시되지 않아, 실제 적용 시 여전히 일부 실험이 필요할 수 있습니다. 이 부분이 향후 연구에서 보완된다면, 파라메트릭 메모리 법칙이 훨씬 더 넓은 실용적 가치를 가질 것이라고 기대합니다.

전체적으로 이 논문은 "LoRA는 어떻게 기억하는가?"라는 단순해 보이는 질문에서 출발해, LLM 파인튜닝의 근본적인 수학적 구조 를 밝혀내는 수준 높은 연구입니다. RAG와 LoRA를 결합하는 메모리 시스템을 연구하는 분들, LoRA 랭크 선택에 어려움을 겪는 실무자들, 그리고 LLM의 내부 동작 메커니즘에 관심 있는 연구자들 모두에게 일독을 강력히 추천합니다.

📚 참고문헌 (주요)

Hu et al. (2022): LoRA: Low-Rank Adaptation of Large Language Models
Kaplan et al. (2020): Scaling Laws for Neural Language Models
Hoffmann et al. (2022): Training Compute-Optimal Large Language Models (Chinchilla)
Jelassi et al. (2024): Repeat After Me: Transformers are Better than State Space Models at Copying
Back et al. (2026): LoRA as Knowledge Memory Unit
Gao et al. (2023): Retrieval-Augmented Generation for Large Language Models: A Survey
Dong et al. (2024): A Survey on In-Context Learning
Zhao et al. (2023): A Survey of Large Language Models

🏷️ 태그

#LLM #LoRA #파라메트릭메모리 #ParametricMemory #파인튜닝 #Finetuning #스케일링법칙 #ScalingLaw #멱법칙 #PowerLaw #메모리용량 #MemoryCapacity #위상전이 #PhaseTransition #MemFT #지식갱신 #KnowledgeUpdate #지속적학습 #ContinualLearning #PEFT #Qwen3 #NLP #딥러닝 #DeepLearning #AI연구 #ZhejiangUniversity #AlibabaNLP

📌 코드 및 자료

GitHub: zjunlp/ParametricMemoryLaw

arXiv: 2605.30260

HuggingFace: 논문 페이지

📅 최종 업데이트: 2025년 5월 31일

서민성

기록하는 습관을 기르고 싶습니다

이전 포스트

Qwen-VLA: Unifying Vision-Language-Action Modeling across Tasks, Environments, and Robot Embodiments

다음 포스트