LLM을 쓰다 보면 가장 불안한 순간이 있다.
모델이 모르는 내용을 모른다고 말하지 않고, 그럴듯한 문장으로 틀린 답을 만들어내는 순간이다. 우리는 이것을 보통 환각 hallucination이라고 부른다.
지금까지 환각 문제는 주로 데이터, 학습 목표, RLHF, RAG, 검증 파이프라인 같은 큰 단위에서 다뤄졌다. 그런데 최근 흥미로운 접근이 등장했다. 모델 전체를 블랙박스로 보는 대신, 모델 내부의 특정 뉴런 단위에서 환각과 관련된 신호를 찾아보자는 접근이다.
이 연구에서 제안된 개념이 바로 H-Neurons다.
H-Neurons란 무엇인가
H-Neurons는 Hallucination-Associated Neurons의 줄임말이다.
말 그대로 LLM이 환각성 답변을 만들 때 강하게 관련되는 뉴런 집합을 뜻한다.
여기서 중요한 점은 “환각을 담당하는 단 하나의 스위치”가 발견됐다는 뜻이 아니라는 것이다. 논문은 특정 FFN 뉴런들의 활성 패턴이 모델의 환각 여부를 예측하는 데 유의미한 신호를 담고 있다고 주장한다.
연구진은 H-Neurons를 다음 세 가지 질문으로 분석했다.
첫째, 이런 뉴런이 실제로 존재하는가.
둘째, 이 뉴런을 조작하면 모델 행동이 바뀌는가.
셋째, 이 뉴런은 instruction tuning이나 alignment 과정에서 생기는가, 아니면 pre-training 단계부터 존재하는가.
논문의 핵심 결론은 다음과 같다.
H-Neurons는 전체 뉴런 중 매우 작은 비율만 차지하지만, 환각성 응답을 꽤 잘 예측한다. 또한 이 뉴런들은 단순히 “틀린 지식”을 담고 있다기보다, 모델이 사용자의 요청을 지나치게 만족시키려는 over-compliance, 즉 과잉 순응 성향과 연결되어 있다.
더 나아가 연구진은 이 뉴런들이 alignment 이후에 생긴 것이 아니라 pre-training 단계부터 이미 존재한다고 분석했다.
왜 이 연구가 흥미로운가
기존의 환각 완화 방법은 대부분 모델 바깥에서 작동했다.
예를 들어 RAG는 외부 문서를 검색해서 모델에게 근거를 제공한다. 후처리 검증기는 모델의 답변이 맞는지 다시 확인한다. 프롬프트 엔지니어링은 “모르면 모른다고 말해라” 같은 지시를 추가한다.
물론 이런 방법들은 유용하다. 하지만 모델 내부에서 실제로 어떤 신호가 환각과 연결되는지는 여전히 알기 어렵다.
H-Neurons 연구는 관점을 바꾼다.
“모델이 환각을 만들 때 내부 뉴런 중 어떤 것들이 반복적으로 반응하는가?”
이 질문은 mechanistic interpretability, 즉 모델 내부 메커니즘을 해석하려는 연구 방향과 맞닿아 있다.
만약 환각과 관련된 내부 신호를 찾을 수 있다면, 단순히 출력만 검사하는 것이 아니라 모델이 답변을 생성하는 과정에서 위험 신호를 감지하거나 조절하는 방법도 생각해볼 수 있다.
연구진은 H-Neurons를 어떻게 찾았나
논문은 H-Neurons를 찾기 위해 LLM의 Feed-Forward Network, 즉 FFN 내부 뉴런을 분석했다.
Transformer 구조에서 FFN은 attention 이후 각 토큰 표현을 비선형적으로 변환하는 중요한 구성 요소다. Attention이 토큰 사이의 관계를 섞는 역할을 한다면, FFN은 각 위치의 표현을 더 풍부하게 바꾸는 역할을 한다.
연구진의 절차는 대략 다음과 같다.
먼저 TriviaQA 같은 질문답변 데이터셋을 사용해 모델에게 여러 번 답변을 생성하게 한다. 그다음 정답을 일관되게 맞힌 사례와, 일관되게 틀린 사례를 구분한다.
단일 샘플만 보면 decoding noise 때문에 신호가 흔들릴 수 있으므로, 여러 번 샘플링해 안정적인 correct response와 hallucinated response를 고르는 방식을 사용했다.
그다음 전체 응답을 모두 보는 것이 아니라, 실제 사실 주장이 담긴 answer token에 집중한다.
예를 들어 “정답은 A입니다”라는 문장에서 문장 틀보다 실제 답변에 해당하는 토큰이 더 중요하다는 것이다. 연구진은 사실 주장에 해당하는 텍스트 span을 식별하고, 해당 token 위치에서의 뉴런 기여도를 분석했다.
그리고 각 뉴런이 hidden state에 얼마나 기여했는지를 측정하기 위해 CETT라는 지표를 사용한다.
단순 activation 크기만 보는 것이 아니라, 해당 뉴런의 출력이 실제 hidden representation에 얼마나 기여했는지를 정량화하려는 방식이다.
마지막으로 L1 regularization이 들어간 sparse logistic regression을 학습시킨다. 이 classifier는 환각 응답과 충실한 응답을 구분하는 데 중요한 뉴런만 남기도록 유도된다.
이때 non-zero weight를 가진 뉴런들이 H-Neurons로 식별된다.
정리하면 H-Neurons는 사람이 임의로 고른 뉴런이 아니라, 환각 응답과 정상 응답을 구분하는 sparse classifier가 선택한 뉴런 집합이다.
얼마나 적은 뉴런인가
이 연구에서 가장 눈에 띄는 수치는 H-Neurons의 희소성이다.
논문은 H-Neurons가 보통 전체 뉴런의 0.1% 미만으로 나타난다고 보고한다. 즉, 모델 전체를 보면 아주 작은 부분만이 환각 예측에 강하게 연결된 신호를 가진다는 것이다.
흥미로운 점은 이렇게 적은 뉴런만으로도 환각 탐지 신호가 나온다는 점이다.
연구진은 H-Neurons 기반 classifier가 무작위로 선택한 뉴런 기반 classifier보다 여러 평가셋에서 더 좋은 성능을 보였다고 보고한다. 평가에는 TriviaQA, NQ-Open, BioASQ, 그리고 존재하지 않는 entity에 대한 fabricated question이 포함됐다.
이 결과만 보면 H-Neurons는 모델 내부에 숨어 있는 “환각 감지 센서”처럼 보일 수 있다.
하지만 여기서 조심해야 한다.
이 말은 H-Neurons만 제거하면 환각이 사라진다는 뜻은 아니다. 논문 자체도 단순한 suppression이나 amplification만으로는 환각 감소와 모델 유용성 사이의 균형을 안정적으로 잡기 어렵다고 설명한다.
H-Neurons는 “틀린 지식”을 담고 있는가
H-Neurons에서 가장 중요한 해석은 이것이다.
H-Neurons는 단순히 “잘못된 사실”을 저장한 뉴런이 아닐 수 있다.
논문은 H-Neurons가 over-compliance, 즉 모델이 사용자의 요청을 지나치게 만족시키려는 성향과 연결되어 있다고 해석한다.
쉽게 말하면, 모델이 “모른다”, “전제가 틀렸다”, “확인할 수 없다”라고 말해야 하는 상황에서도 어떻게든 사용자가 원하는 답을 만들어내려는 경향과 관련된다는 것이다.
이 해석은 LLM 환각을 이해하는 데 꽤 중요하다.
우리는 흔히 환각을 “모델이 지식이 부족해서 틀리는 현상”으로만 생각한다. 하지만 H-Neurons 연구는 다른 가능성을 보여준다.
모델이 단순히 지식을 몰라서 틀리는 것이 아니라, 답변을 완성해야 한다는 압력 때문에 틀린 답을 만들어낼 수 있다는 것이다.
즉, 문제는 지식 부족만이 아니라 “대화에서 너무 협조적으로 보이려는 행동 패턴”일 수 있다.
이 관점은 실제 사용 경험과도 맞아떨어진다.
LLM은 종종 질문의 전제가 틀렸는데도 그 전제를 받아들이고 답변한다. 사용자가 “아니지 않아?”라고 압박하면 원래 맞았던 답을 바꾸기도 한다. 근거가 약한 문서가 prompt 안에 들어오면 그것을 너무 쉽게 믿기도 한다.
H-Neurons는 이런 현상을 뉴런 단위에서 관찰하려는 시도라고 볼 수 있다.
조작하면 모델 행동이 바뀌는가
상관관계만으로는 부족하다.
어떤 뉴런이 환각과 함께 활성화된다고 해서, 그 뉴런이 실제로 환각을 일으키는지는 알 수 없다.
그래서 연구진은 H-Neurons의 activation을 직접 조절하는 perturbation 실험을 수행했다. 특정 H-Neurons의 활성값을 줄이거나 키운 뒤, 모델의 행동이 어떻게 바뀌는지 관찰한 것이다.
논문에 따르면 H-Neurons를 강하게 만들수록 모델은 잘못된 전제, 오해를 유도하는 문맥, 사용자의 부정확한 반박, 안전하지 않은 요청 등에 더 쉽게 순응하는 경향을 보였다.
반대로 H-Neurons를 억제하면 이런 과잉 순응 행동이 줄어드는 방향의 결과가 관찰됐다.
다만 이 부분도 과장하면 안 된다.
논문이 보여주는 것은 H-Neurons가 모델 행동에 영향을 줄 수 있다는 실험적 증거다. 하지만 이것이 “H-Neurons만 조작하면 환각을 완전히 해결할 수 있다”는 뜻은 아니다.
연구진도 단순 suppression은 모델의 helpfulness를 해칠 수 있으며, 더 정교한 intervention 전략이 필요하다고 설명한다.
H-Neurons는 언제 생기는가
또 하나 중요한 질문은 H-Neurons의 기원이다.
환각 관련 뉴런이 instruction tuning이나 alignment 과정에서 생기는 것일까? 아니면 pre-training 단계부터 이미 존재하는 것일까?
논문은 후자에 가깝다고 주장한다.
연구진은 instruction-tuned model에서 찾은 H-Neurons를 대응되는 base model에 적용해보고, 이 뉴런들이 base model에서도 환각 탐지 신호를 유지하는지 확인했다.
결과적으로 H-Neurons는 base model에서도 유의미한 예측력을 보였고, alignment 과정에서 크게 새로 생기거나 강하게 바뀌기보다는 pre-training 단계에서 이미 형성된 것으로 분석됐다.
이 해석은 LLM 환각이 단순히 RLHF나 instruction tuning의 부작용만은 아닐 수 있다는 점을 시사한다.
기본적인 next-token prediction 학습은 “정확한지”보다 “그럴듯하게 이어지는지”를 학습한다. 이 과정에서 모델은 모르는 내용도 자연스럽게 이어 쓰는 방향으로 학습될 수 있다.
논문은 이 점을 들어 환각이 모델의 근본적인 학습 목표와 관련되어 있을 가능성을 제시한다.
공식 구현 저장소
이 연구는 공식 GitHub 저장소도 공개되어 있다.
저장소는 논문의 official implementation으로 소개되어 있으며, 주요 기능으로 H-Neurons 식별, CETT metric 구현, linear classifier training, 다양한 환경에서의 hallucination prediction을 제시한다.
공식 저장소 기준으로 전체 pipeline은 다음 단계로 정리된다.
- Response collection
- Answer token extraction
- Balanced sampling
- Activation extraction
- Classifier training and evaluation
이 부분은 연구 재현 측면에서 중요하다.
논문만 보면 개념이 추상적으로 보일 수 있지만, 저장소를 보면 실제로 어떤 데이터 준비, activation 추출, classifier 학습 과정을 거치는지 확인할 수 있다.
후속 연구가 던지는 질문
H-Neurons 논문만 보면 “환각에는 보편적인 뉴런 신호가 있다”는 인상을 받을 수 있다.
하지만 후속 연구인 Do Hallucination Neurons Generalize? Evidence from Cross-Domain Transfer in LLMs는 조금 더 신중한 관점을 제시한다.
이 후속 연구는 H-Neurons가 도메인을 넘어 일반화되는지 확인하기 위해 일반 QA, 법률, 금융, 과학, 도덕 추론, 코드 취약점 등 6개 도메인과 5개 open-weight model을 대상으로 cross-domain transfer를 실험했다.
결과적으로 within-domain에서는 H-Neurons 기반 classifier가 의미 있는 성능을 보였지만, 다른 도메인으로 옮기면 성능이 크게 떨어졌다고 보고한다.
이 결과는 중요한 의미를 가진다.
H-Neurons가 실제로 유용한 환각 탐지 신호일 수는 있지만, 하나의 도메인에서 찾은 H-Neurons가 모든 분야의 환각을 잡아내는 만능 신호라고 보기는 어렵다는 것이다.
후속 연구는 환각이 단일 메커니즘이 아니라, 도메인별로 다른 뉴런 집합과 경로를 가질 수 있다고 해석한다.
또한 activation scaling 실험에서 H-Neurons를 조작해도 환각률 변화가 통계적으로 충분히 강하게 나타나지 않았다고 보고했다.
따라서 H-Neurons를 볼 때는 두 가지를 동시에 기억해야 한다.
첫째, H-Neurons는 LLM 내부에서 환각과 연결된 신호를 찾는 매우 흥미로운 연구다.
둘째, 아직 “환각 해결 버튼”이라고 부르기에는 이르다.
H-Neurons가 중요한 이유
H-Neurons가 중요한 이유는 환각 문제를 더 미시적인 수준에서 바라보게 만들기 때문이다.
기존에는 환각을 주로 출력 결과의 문제로 다뤘다. 모델이 틀린 답을 냈는지 확인하고, 외부 검색으로 보강하고, 사후 검증기를 붙이는 방식이었다.
하지만 H-Neurons는 질문을 바꾼다.
“모델이 틀린 답을 내기 전에, 내부에서 어떤 신호가 먼저 나타나는가?”
이 질문은 앞으로의 LLM 안정성 연구에 큰 의미가 있다.
만약 환각과 관련된 내부 신호를 실시간으로 감지할 수 있다면, 모델이 답변을 생성하는 중간에 “지금은 근거가 약하다”, “전제가 불안정하다”, “사용자의 요구에 과도하게 맞추고 있다” 같은 상태를 추정할 수 있을지도 모른다.
이렇게 되면 단순한 사후 검증을 넘어, 생성 과정 자체를 더 안전하게 제어하는 방법이 가능해질 수 있다.
실무적으로 어떻게 볼 수 있을까
실무 관점에서 H-Neurons는 당장 제품에 그대로 넣을 수 있는 완성형 기술이라기보다, 환각 탐지와 모델 해석을 위한 연구 방향에 가깝다.
특히 다음과 같은 분야에서 의미가 있다.
1. 환각 탐지 모델
출력 텍스트만 보는 대신 내부 activation signal을 함께 사용하면 더 정교한 detection이 가능할 수 있다.
다만 이 방식은 모델 내부 activation에 접근할 수 있는 open-weight model이나 research setting에서 더 현실적이다. API만 사용하는 closed model에서는 적용이 어렵다.
2. Token-level verification
긴 응답 전체를 “맞다” 또는 “틀리다”로만 판단하는 것은 거칠다.
실제 환각은 긴 문장 중 특정 이름, 날짜, 숫자, 인용, 근거에서만 발생할 수 있다. H-Neurons 같은 내부 신호가 발전하면 특정 token이나 span 단위로 위험한 부분을 표시하는 방향으로 확장될 수 있다.
3. 모델 디버깅
어떤 모델이 특정 도메인에서 자주 환각을 일으킨다면, 그때 활성화되는 내부 뉴런 집합을 추적해볼 수 있다.
예를 들어 법률 질문, 의학 질문, 코드 보안 질문에서 각각 다른 neuron set이 작동한다면, 모델의 취약점을 더 세밀하게 분석할 수 있다.
4. Alignment 연구
H-Neurons가 pre-training 단계부터 존재한다는 결과는 alignment만으로 환각의 근본 원인을 완전히 제거하기 어려울 수 있음을 시사한다.
즉, 환각을 줄이려면 instruction tuning 이후의 보정뿐만 아니라, pre-training 목표, 데이터 구성, factuality-aware training, uncertainty modeling까지 함께 봐야 할 수 있다.
한계와 주의할 점
H-Neurons 연구는 흥미롭지만, 몇 가지 한계를 분명히 봐야 한다.
첫째, H-Neurons는 환각의 유일한 원인이 아니다
논문은 환각과 관련된 sparse neuron set을 찾았지만, LLM의 환각은 데이터, 학습 목표, decoding, prompt, retrieval, alignment 등 여러 요소가 얽힌 현상이다.
따라서 H-Neurons를 “환각의 원인 전체”로 이해하면 안 된다.
둘째, 도메인 일반화는 아직 불확실하다
후속 cross-domain 연구는 한 도메인에서 찾은 H-Neurons가 다른 도메인에서는 성능이 크게 떨어질 수 있다고 보고했다.
즉, 일반 QA에서 찾은 H-Neurons가 법률, 금융, 과학, 코드 보안 영역에서도 그대로 작동한다고 보장하기 어렵다.
셋째, 조작이 곧 해결은 아니다
H-Neurons를 억제하거나 증폭하는 실험은 흥미롭지만, 단순 조작만으로 환각을 안정적으로 줄이는 것은 별개의 문제다.
환각을 줄이면서도 모델의 유용성, 창의성, 추론 능력을 유지해야 하기 때문이다.
넷째, 측정 방식에 의존한다
H-Neurons는 특정 attribution metric과 classifier 설계에 따라 식별된다.
다른 attribution 방법을 쓰거나, 다른 모델, 다른 데이터셋, 다른 token selection 방식을 쓰면 다른 neuron set이 나올 수 있다.
따라서 H-Neurons를 “항상 같은 위치에 있는 보편적 뉴런”으로 보면 안 된다.
정리
H-Neurons는 LLM의 환각과 관련된 뉴런 집합을 뜻한다.
이 개념이 흥미로운 이유는 환각을 단순히 출력의 오류로 보는 것이 아니라, 모델 내부의 뉴런 활성 패턴과 연결해 분석하기 때문이다.
원 논문은 H-Neurons가 전체 뉴런 중 매우 작은 비율만 차지하면서도 환각 여부를 예측하는 데 유의미한 신호를 제공하고, 과잉 순응 행동과도 연결된다고 주장한다.
하지만 H-Neurons가 곧바로 환각 해결책은 아니다.
후속 연구는 H-Neurons가 도메인별로 달라질 수 있으며, 한 도메인에서 학습한 탐지기가 다른 도메인으로 잘 이전되지 않을 수 있음을 보여준다.
따라서 실무적으로는 H-Neurons를 universal hallucination switch가 아니라, 도메인과 모델에 따라 달라질 수 있는 내부 진단 신호로 이해하는 것이 안전하다.
그래도 이 연구가 중요한 이유는 분명하다.
LLM의 신뢰성을 높이려면 단순히 더 많은 데이터를 넣거나, 더 긴 프롬프트를 쓰거나, 외부 검색을 붙이는 것만으로는 부족할 수 있다.
모델이 왜 모르는 내용을 아는 것처럼 말하는지, 그 경향이 내부 어디에서 나타나는지를 이해해야 한다.
H-Neurons는 그 질문에 대한 첫 번째 미시적 단서 중 하나다.
