Berwian, I. M., Hitchock, P., Pisupati, S., Schoen, G., & Niv, Y. (2025). Using computational models of learning to advance cognitive behavioral therapy. Communications Psychology, 3(1), 72.
Abstract
많은 심리치료 개입들은 강력한 근거 기반을 갖추고 있음에도, 왜 효과가 있는지에 대한 이해는 아직 부족한 상태. 모든 심리치료는 궁극적으로 learning을 통해 변화를 이끌어내며, 지난 25년간 computational models of learning 분야는 정밀도와 다양성 측면에서 크게 발전함. 본 논문은 CBT(인지행동치료, 구체적으로 exposure therapy와 cognitive restructuring)를 RL 및 representation learning의 알고리즘에 매핑함으로써, 치료 메커니즘 이해와 개입 연구 발전에 기여하고자 함.
Introduction
Computational Psychiatry는 computational models of behavior, decision-making, biophysiology를 활용하여 정신건강 조건의 기저 메커니즘을 규명하는 데 집중해 왔음. RL 알고리즘과 Bayesian inference가 대표적으로 사용되지만, 이를 심리치료 연구에 적용한 사례는 드물었음.
본 논문은 learning algorithms과 심리치료 연구 사이에 다리를 놓고, computational models of learning이 심리치료 연구를 어떻게 강화할 수 있는지 제시하는 것을 목표로 함. CBT에 초점을 맞추되, 제시된 원리는 정신역동치료, 대인관계치료 등 다른 학파에도 동일하게 적용 가능함.
CBT는 부적응적 행동과 사고 과정을 변화시키는 것을 목표로 하는 문제 중심적 협력 형태의 심리치료. 행동적 부분의 핵심인 exposure therapy는 두려운 상황에 대한 직접 경험을 통해 부적응적 연합을 변화시키며, 인지적 부분의 핵심인 cognitive restructuring은 자동적 사고의 왜곡을 교정하는 것을 목표로 함. 아래에서는 각 개입을 설명한 뒤, 관련 learning algorithms을 소개하고, 치료 반응과 재발에 관한 예측을 도출함.
Exposure therapy
Exposure therapy는 CBT에서 가장 오래된 부분으로, 불안장애, PTSD, 특정 공포증, OCD 등에 광범위하게 사용되는 효과적인 치료법. 치료에서 내담자는 안전한 환경 안에서 두려운 자극을 반복적으로 접하며, 두려운 결과가 실제로 발생하지 않음을 경험하게 됨.
노출 방식으로는 in vivo exposure, imaginal exposure, virtual reality exposure, interoceptive exposure가 있으며, 치료 전 "fear hierarchy"를 구성하여 점진적으로 노출 강도를 높이는 graduated exposure 혹은 즉시 가장 두려운 자극에 노출하는 flooding 방식을 사용함.
Foa & Kozak은 효과적인 exposure therapy의 세 가지 지표를 제안: 1) fear activation, 2) 노출 중 생리적 반응의 감소, 3) 회기 간 생리적 반응의 감소. Craske et al.은 이와 달리 habituation이 아닌 "inhibitory learning"에 기반한 접근을 제안하며, expectancy violation을 극대화하는 기법들을 개발함. Exposure therapy의 주요 과제 중 하나는 치료 성공 후에도 공포가 재발하는 문제로, 이를 해결하기 위한 개선이 computational psychotherapy의 핵심 기회임.
Introducing model-free reinforcement learning
RL은 컴퓨터 과학과 심리학의 접점에서 Pavlovian conditioning과 instrumental conditioning의 computational theory로 발전함. Pavlovian conditioning에서는 CS(conditional stimulus)와 US(unconditional stimulus) 간의 contingency 학습을 통해 CS가 US를 예측하게 되고, 이에 따른 conditioned response가 나타남. CS가 US 없이 반복 제시되면 conditioned response가 감소하는 extinction learning이 일어남.
RL 이론의 핵심은 prediction learning임. 자극 또는 "state" S는 value V(S)를 획득하며, 이는 prediction error(PE=R-V_old (S))를 통해 업데이트됨: V_new (S)=V_old (S)+α×PE. 여기서 α는 새로운 정보가 미래 예측에 반영되는 정도를 결정하는 learning rate parameter임. 이 모델은 Rescorla-Wagner 모델로 알려져 있으며, world model 없이 trial-and-error만으로 학습하는 "model-free RL"의 예시임.
Model-free learning은 state S(의미 있는 자극의 조합)를 기반으로 작동하며, 이 state 자체도 "representation learning"을 통해 학습되어야 함. "Latent-cause inference"는 이 표현 학습 문제를 다루는 최신 computational framework로, 학습자가 사건들을 특정 contingency가 예상되는 클러스터(latent cause)로 분류한다고 가정함. 이 이론에서는 extinction 시 기존 latent cause의 value를 업데이트하거나, 새로운 안전한 latent cause를 생성하는 두 가지 경로가 공존함.
Using computational theories to explain exposure therapy
Explaining exposure therapy in terms of the latent-cause framework
Exposure therapy에서 두려운 자극(CS)에 안전한 상황에서 노출될 때, 학습자는 기존 "위험한" latent cause의 value를 prediction error 기반으로 업데이트하거나, 새로운 "안전한" latent cause를 생성하는 두 가지 경로 중 하나를 택함. 기존 value를 업데이트하는 경로는 여러 번의 노출이 필요하지만 더 지속적인 공포 감소를 가져오며, 새로운 latent cause를 생성하는 경로는 빠른 공포 감소를 가져오지만 이전 "위험한" latent cause가 다시 활성화될 경우 재발 위험이 있음.
Latent-cause framework에 따르면, 재발은 노출 중 새로운 "안전한" latent cause가 형성되었지만 이후 이전 "위험한" latent cause가 다시 추론될 때 발생함. 재발을 막는 두 가지 경로가 예측됨: 1) 원래의 "위험한" latent cause를 재활성화하여 업데이트하거나, 2) 새로운 "안전한" latent cause를 최대한 많은 상황에 일반화되도록 강화하는 것.
Conditions for learning due to exposure
부정적 결과를 예상하지 않는다면 exposure therapy는 작동하지 않음. 부정적 결과에 대한 기대는 "위험한" latent cause가 활성화되어 있다는 추론에서 비롯되며, 이는 core beliefs를 사전 믿음(prior beliefs)으로 공식화함.
Latent-cause inference는 새로운 정보가 가용할 때마다 일어남. 중요한 점은, 두려움 반응을 유발하는 latent cause와 결과 관찰 후 학습이 적용되는 latent cause가 다를 수 있다는 것. 즉, fear activation이 일어나더라도 학습은 다른 latent cause에 적용될 수 있으며, 이는 행동을 유발하는 요인과 학습되는 것 사이의 겉보기 괴리를 설명함.
Avoiding the creation of a new latent cause
재발을 완전히 막으려면 새로운 latent cause를 형성하는 대신 기존 "위험한" latent cause를 업데이트하는 것이 이상적임. Expectancy violation의 크기가 이를 결정하는 주요 요인으로, 큰 expectancy violation은 새로운 latent cause 형성을 촉진하는 반면 중간 수준의 위반은 기존 latent cause 업데이트를 유도함.
세계가 매우 결정론적이라는 prior beliefs는 더 많은 latent cause 형성을 촉진하며, 반대로 세계가 매우 확률적이라는 믿음은 과잉 일반화로 이어질 수 있음. 극단적인 rigid beliefs(세계가 항상 결정론적이거나 항상 확률적이라는 믿음)는 모델에서 극단적 parameter로 표현되며, 이는 경계성 성격장애, 불안장애, OCD 등 다양한 정신건강 문제와 연관될 수 있음. 이러한 core beliefs는 초기 삶의 경험에 의해 형성되며 성인기에는 더 변화하기 어려워지는 경향이 있음.
Refining treatment
Latent-cause framework는 공포 감소 속도와 같은 행동적 측정치가 왜 exposure therapy 반응이나 재발을 신뢰롭게 예측하지 못하는지를 설명함. 대신 latent-cause inference에 관한 개인의 prior, 새로운 latent cause 형성 경향, 부정적 사건의 선택적 유지를 정량화하면 누구에게 어떤 형태의 exposure therapy가 더 효과적인지 결정하는 데 도움이 됨.
새로운 latent cause를 쉽게 형성하고 부정적 사건을 선택적으로 기억하는 경향이 강한 사람은 재발 위험이 더 높을 것으로 예측됨. 반면 경험 전반에 걸쳐 넓게 일반화되는 소수의 latent cause를 형성하는 사람은 치료 중 학습이 느리지만 더 지속적인 효과를 보일 것으로 예측됨. 이러한 개인차에 맞게 exposure therapy를 설계함으로써(예를 들어 "위험한" latent cause를 업데이트하는 경향이 있는 내담자에게는 공포 획득 상황과 유사한 노출 환경을 조성하고, 새로운 latent cause를 형성하는 경향이 있는 내담자에게는 다양한 맥락에서의 노출로 일반화를 강화하는 방식) 치료 성과를 개선할 수 있음.
Cognitive restructuring
Cognitive therapy는 사건이 자동적 사고(automatic thoughts)를 촉발하고, 이것이 부정적 감정을 유발한다는 가정에 기반함. Cognitive restructuring은 이 왜곡된 자동적 사고를 교정하는 것을 핵심으로 하며, 우울증뿐 아니라 불안, OCD, 정신증 등 다양한 정신건강 조건에 적용됨.
Cognitive restructuring은 네 단계로 구성됨: 1) 자동적 사고 확인, 2) 사고의 왜곡 방식 파악, 3) 왜곡에 도전(예: 특정 해석에 대한 찬반 증거 나열), 4) 사고에 대한 반박. 자동적 사고는 상황에 특정적이지만, 더 일반적인 core beliefs(예: "나는 실패자다")에 의해 유발되는 것으로 가정되며, cognitive restructuring은 이 core beliefs의 변화도 목표로 함.
Cognitive restructuring의 효과에 대한 경험적 지지가 존재하지만, 일부 대규모 연구에서는 다른 개입에 비해 효과가 약하다는 결과도 있음. Exposure therapy와 마찬가지로, 누가 cognitive restructuring으로부터 이익을 얻을 수 있는지를 learning 변화 과정에 대한 이해를 통해 개선할 수 있다고 제안함.
Model-based decision making
Model-free RL과 달리, model-based learning은 환경의 모델(state 전이 구조와 reward 구조)을 학습하고, 이를 통해 다양한 행동의 결과를 정신적으로 시뮬레이션하여 value를 계산함. Model-free learning이 '법칙 효과(law of effect)'의 공식화라면, model-based learning은 '인지 지도(cognitive maps)'의 공식화에 해당하며, 이는 dual-process 이론에서 System 1(model-free, 충동적)과 System 2(model-based, 숙고적)에 각각 대응됨.
Model-based action selection은 새로운 정보를 광범위한 경험 없이도 즉시 통합할 수 있는 유연한 goal-directed 행동을 가능하게 함. 그러나 인지적 시뮬레이션은 정신적 노력을 요구하므로, 스트레스나 인지 자원이 제한된 상황에서는 model-free 시스템이 행동을 더 강하게 통제하게 됨.
Mapping cognitive restructuring onto reinforcement learning
Cognitive restructuring은 deliberative, goal-directed 결정에 사용되는 내부 world model을 업데이트하는 것으로 이해됨. 예를 들어, 실수를 보고하면 해고될 것이라는 내담자의 기대를 수정하면, 내부 모델에서 "해고" 상태로 전이될 확률이 낮아지고, 이에 따라 실수를 보고하는 행동의 value가 즉시 증가할 수 있음.
그러나 model-free values는 암묵적이며 의식적 인지 과정으로 직접 수정하기 어렵기 때문에, cognitive restructuring의 효과가 지속되려면 model-based(명시적) 믿음의 변화가 model-free(암묵적) values의 변화로 전환되어야 함. 이 전환의 핵심 메커니즘으로 mental simulation을 제안함: 새로운 인지 정보를 담은 상황을 정신적으로 시뮬레이션하면 model-based 시스템으로부터 "유사 경험(pseudo-experiences)"이 생성되어 model-free values를 훈련시킬 수 있음. Mental imagery를 활용하면 신경 활성화가 실제 경험에 더 가까워져 이 효과가 강화될 수 있음.
Cognitive restructuring이 관여하는 두 번째 유형의 학습은 meta-learning, 즉 인지적 왜곡을 파악하고 의문을 제기하는 능력 자체를 습득하는 것. Metacognition(자신의 인지 경험을 모니터링하고 평가하는 능력)은 이 meta-learning의 중요한 측면으로, 불안·우울 증상이 있는 사람들은 종종 metacognitive bias(자신의 수행에 대한 낮은 자신감)를 보임. 마지막으로, cognitive restructuring은 latent-cause inference에도 영향을 미칠 수 있음: 인지적 믿음의 변화가 특정 상황에서 어떤 state가 추론되는지, 혹은 state 간 경계가 어떻게 설정되는지에 영향을 줄 수 있음.
저자들이 제안하는 업데이트와 행동 선택의 모형.
Discussion
본 논문은 computational models of learning의 용어를 심리치료의 개념 및 개입에 매핑하는 작업을 수행함. 두 가지 핵심 제안을 도출: 첫째, 세계 구조에 대한 추론(latent-cause inference)의 개인차를 정량화하면 exposure therapy 반응을 예측하고 재발 위험이 있는 사람들을 위한 치료 프로토콜을 정교화하는 데 활용될 수 있음. 둘째, model-based(명시적) 지식을 model-free(암묵적) values로 일반화하는 능력이 cognitive restructuring에 대한 더 지속적인 반응을 예측할 수 있음.
Testing the predictions
이러한 예측을 검증하기 위해서는 개인의 학습 경향을 측정하는 행동 과제가 필요함.
노출치료를 모방한 소거 학습 동안의 학습을 측정하는 행동 과제를 이용하여 이러한 접근법 설명.
Extinction training을 모방한 과제에 latent-cause 모델을 적합하면 자발적 회복(spontaneous recovery)을 보이는 개인과 그렇지 않은 개인을 구분할 수 있으며, 이를 통해 재발 위험을 예측하거나 재발을 방지하도록 치료를 수정하는 것이 가능함.
이러한 예측 검증을 위한 두 가지 핵심 조건: 1) 과제가 개인차 측정에서 우수한 psychometric properties를 갖출 것, 2) 종단 연구에서 활용될 것. 현재 많은 과제들이 임상적 활용을 위한 충분한 psychometric properties를 갖추지 못하고 있으나, test-retest reliability를 높이기 위한 방법들(hierarchical fitting, joint fitting, 과제 설계 개선 등)이 제시되고 있음. 종단 연구는 진단 집단 간 개인차가 아닌, 특정 치료에 대한 반응 예측이라는 핵심 질문에 답하기 위해 필수적임.
Extensions to other interventions and treatment effects
Computational models of learning은 CBT를 넘어 모든 심리치료 개입의 변화 메커니즘을 공식화하는 데 활용될 수 있음. 예를 들어, 정신역동치료의 transference는 model-free learning을 통한 경험 기반 학습으로 설명될 수 있으며, 치료자가 내담자의 기대에 반하는 반응을 함으로써 기존 latent cause를 업데이트하거나 새로운 latent cause를 형성하게 할 수 있음.
전반적으로 학습이 손상된 경우, CBT와 정신역동치료 모두 효과적이지 않을 수 있으며, 이때 약물치료가 우선적으로 고려되어야 함. 또한 치료 결과에 강한 영향을 미치는 "common factors", 특히 치료적 동맹(therapeutic alliance)도 computational 관점에서 설명 가능: 신뢰할 수 있는 치료자와의 관계는 치료 중 수신하는 정보의 precision을 높여 learning rate를 증가시키는 효과를 가질 수 있음.
Conclusion
Computational models of learning의 발전과 학습 과정의 parameter를 측정하는 과제들은 심리치료 개입의 효과를 설명하고 예측하는 데 기여할 수 있음. 이 접근의 예측들은 종단 임상 연구를 통해 검증되어야 하며, 심리치료와 computational modeling 언어를 모두 구사하는 연구자 양성이 필수적임. 궁극적으로 이 연구는 각 개인에게 가장 효과적인 치료를 배정하는 근거 기반의 "Computational Psychotherapy" 발전에 기여할 것으로 기대됨.
