Parametric memory

Parametric memory는 신경망 모델의 가중치(parameters)에 저장된 지식을 의미합니다.

주요 특징

학습을 통한 습득

• 모델이 학습 과정에서 대량의 데이터를 통해 패턴, 사실, 관계 등을 파라미터에 인코딩합니다
• 한번 학습이 완료되면 이 지식은 모델 가중치에 "고정"됩니다

Non-parametric memory와의 대비

• Parametric memory: 모델 내부에 저장된 지식 (예: GPT의 가중치)
• Non-parametric memory: 외부에 저장된 지식 (예: 검색 데이터베이스, RAG 시스템)

장단점

장점

• 빠른 추론 속도 (외부 검색 불필요)
• 추가 저장 공간이나 인프라 불필요
• 암묵적 지식과 추론 능력 포함

단점

• 업데이트가 어려움 (재학습 필요)
• 지식의 출처 추적이 어려움
• 환각(hallucination) 가능성
• 용량 제한 (파라미터 수에 의존)

최근에는 두 방식을 결합한 하이브리드 접근법(예: RAG + LLM)이 많이 사용되고 있습니다.