💡 ThermoMPNN
단백질의 단일 아미노산 변이(single-point mutation)가 단백질 안정성에 미치는 영향을 예측
기존 구조 기반 모델 ProteinMPNN을 전이학습(Transfer Learning)하여,
빠르고 정확하게 ΔΔG° 예측이 가능
🖐 Transfer Learning 이란?
이미 학습된 모델을 새로운 task 에 재사용하는 머신러닝 기법
일반적으로 머신러닝은 각 작업마다 새로 학습시켜야 함
그러나 비슷한 도메인이나 구조를 가진 작업이라면,
기존에 잘 학습된 모델의 지식을 "전이(transfer)" 해서
적은 데이터, 적은 시간으로도 좋은 성능을 낼 수 있음
해당 논문에서는 ProteinMPNN의 임베딩벡터를 전이학습에 사용하여 ThermoMPNN을 개발
✅ ProteinMPNN의 특징
ProteinMPNN은 구조가 주어졌을 때 해당 구조에 맞는 아미노산 서열을 복원하는 모델
1️⃣ PDB의 약 19,700개 단백질 구조 클러스터로 학습
2️⃣ 각 위치에서 20개의 아미노산 중 어떤 것이 올 가능성이 가장 높은지 확률을 예측
-> 구조 기반의 "sequence recovery" 문제를 풀도록 설계
PDB에 있는 단백질은 실제 존재 가능한 구조 → 최소한 어느 정도 안정한(native-like stable) 구조
따라서 ProteinMPNN이 높은 확률로 예측한 아미노산은 상대적으로 안정할 가능성이 높음
✅ ProteinMPNN의 한계
안정성 예측 모델로서의 ProteinMPNN
그러나, 진화는 안정성만을 최적화하지 않음.
ex) 효소 활성도, 용해도, 발현 수준 등도 고려됨.
실제 대규모 실험 데이터(Megascale dataset)를 보면,
같은 안정성을 주는 자리에서도 어떤 아미노산은 훨씬 자주 등장함.
→ 이는 ProteinMPNN의 출력이 안정성만을 반영하지 않음을 시사
ΔΔG° 데이터를 기반으로 native 서열을 회귀로 예측해도, 정확도는 40% 미만
→ 단순한 방법은 부족하다는 증거.
✅ ThermoMPNN의 핵심 아이디어
전이학습
비록 ProteinMPNN은 안정성을 직접 예측하지는 않지만,
학습 과정에서 구조적으로 허용되는 아미노산 패턴에 대한 표현(embedding)을 학습했음.
→ 이 embedding을 활용하면 안정성 예측으로 전이 가능할 것이라는 가설.
ThermoMPNN은 다음을 결합함
1️⃣ ProteinMPNN에서 추출한 구조 임베딩
-> Sequence recovery 학습용 / PDB 구조 (19,700 개)
2️⃣ 실험적으로 측정된 대규모 안정성 데이터(Megascale)
-> ΔΔG° 예측 학습용 / point mutations (272,712개)
즉, sequence recovery task로부터 학습한 representation을 가져와,
별도 MLP로 ΔΔG° 값을 supervised 학습하여 예측하도록 함.
✅ ThermoMPNN 아키텍처 (Fig. 1A)
✅ ThermoMPNN의 모듈 구성
1️⃣ ProteinMPNN (좌측 모듈) – Feature Extractor
입력:
- 변이가 일어나는 잔기와 그 주변 48개의 잔기 간 거리 정보 (backbone atoms 기준).
- Backbone atom: N, Cα, C, O, Cβ
- 거리 정보는 Gaussian RBF로 인코딩됨.
- Wild-type 서열도 함께 입력됨.
구조:
-
Encoder (파란색):
Graph neural network (GNN) 구조로 구성, residue 간 message passing 수행.
Residue 간 3D 거리 기반 연결 → 주변 구조 정보를 반영한 임베딩 학습. -
Decoder (노란색):
각 residue에 대해 서열 복원(sequence recovery) 수행.
node 및 edge 임베딩과 함께 WT 시퀀스 임베딩을 통합하여 입력 구조에서 선택된 잔기에 유리한 아미노산을 예측
이때 각 레이어에서 128차원 임베딩을 생성.
ThermoMPNN의 활용 방식:
- ProteinMPNN의 최종 아미노산 예측 결과는 버리고,
- 대신 변이 위치의 decoder 임베딩만 추출
→ decoder 임베딩에는 주변 구조 정보도 포함.
2️⃣ Stability Prediction Module (우측 모듈) – ΔΔG° 예측기
입력:
- 위에서 추출한 구조 임베딩 + 해당 위치의 서열 임베딩 (초록색).
3️⃣ Light Attention Block (보라색):
- Self-attention을 통해 각 feature의 중요도를 동적으로 조절함.
- 최근 ΔΔG° 예측 성능을 향상시키는 데 유효한 방식으로 확인됨.
4️⃣ MLP Block (빨간색):
- 작은 2층 MLP (hidden size 64, 32)를 통해 ΔΔG°를 예측.
- 계산 방식: ΔΔG° = ΔG°(mutant) – ΔG°(wild-type)
✅ 데이터셋 준비 및 처리 (Fig. 1B)
1️⃣ Megascale Dataset
출처: Tsuboyama et al., protease-sensitivity 기반 ΔΔG° 추정 실험.
초기 데이터 수: 776,298개의 mutation.
정제 과정:
- 신뢰도 낮은 측정 제거 → 607,839개.
- insertion/deletion/double mutation 제거 → 391,090개.
- 실험 조건을 위해 wild-type을 인위적으로 destabilize한 경우 제외
→ 최종 272,712 mutation, 298개 단백질 사용.
이때, 구조 정보는 AlphaFold 등으로 예측된 계산 모델이며, 실험 구조는 아님.
2️⃣ Fireprot Dataset
출처: FireProtDB (실험적 안정성 데이터).
PDB 구조와 서열 매핑 → 생리적 pH에 가장 가까운 측정만 선택.
최종 3,438 mutation, 100개 단백질.
3️⃣ 데이터 분할
MMseqs2 사용 → 25% 이상의 sequence identity 가진 단백질은 동일 클러스터로 묶음.
- Megascale: 162 clusters
- Fireprot: 83 clusters
Train/Val/Test split (80/10/10):
- Megascale: 216,919 / 27,481 / 28,312
- Fireprot: 2,610 / 468 / 360
Homologue-free (HF) split:
- Megascale과 homology 있는 Fireprot protein 제거: 2,578개 (테스트용)
-> Train/Test 간 homology leakage 방지 → 일반화 성능 제대로 평가.
3️⃣ 데이터셋 특성 (Fig. 1E)
✅ (E) Mutation Composition (아미노산 타입 분포)
Alanine 변이 비율:
-
Fireprot: 24.4%
-
Megascale: 5.0% (SwissProt 기준에 더 유사)
SwissProt 자연 분포: 7.8%
결론:
Megascale은 자연 아미노산 분포에 더 가깝고 bias 적음.
Fireprot는 alanine scanning 위주.
✅ ThermoMPNN 모델의 다양한 구성 요소가 예측 성능에 얼마나 기여했는지
- RMSE: Root Mean Squared Error (예측 오차), 낮을수록 좋음
- PCC: Pearson Correlation Coefficient (선형 상관관계), 높을수록 좋음
- SCC: Spearman Correlation Coefficient (순위 일치도), 높을수록 좋음
기본 모델 비교
- ThermoMPNN은 기존 ProteinMPNN보다 예측 정확도(RMSE↓)도 더 낮고, 상관성(PCC/SCC↑)도 더 높음.
→ 전이학습(transfer learning)과 stability module 도입이 효과적임을 보여줌.
No light attention
- Light Attention이 작지만 일관된 성능 향상에 기여.
- 특히 Fireprot에서 더 많은 영향을 줌.
No pretraining (ProteinMPNN 미리 학습시키지 않고 처음부터 학습)
- 사전학습(pretraining)이 가장 큰 영향을 줌.
- 구조적 표현을 잘 학습한 임베딩이 없으면 성능 급감.
Added fine-tuning (ProteinMPNN의 가중치를 업데이트하면서 joint training)
- Megascale에서는 fine-tuning이 성능을 더 향상시킴.
- 그러나 Fireprot에서는 과적합(overfitting) 발생 가능성 있음 → 일반화 성능 개선 X.
✅ ThermoMPNN Overall Performance
🔷 핵심 내용 요약:
ThermoMPNN 예측 성능 비교 (Fig. 2B):
Megascale vs. Fireprot(HF) 데이터셋에 대해 ΔΔG° 예측값과 실험값을 비교.
Megascale: ΔΔG° 범위가 –3 to +5 kcal/mol로 작은 변화만 담고 있음.
Fireprot: –9 to +12 kcal/mol로 훨씬 넓음.
👉 즉, Fireprot 데이터는 훨씬 다양한 상황의 단백질 안정성 변화를 포함
👉 ThermoMPNN은 Megascale 기반으로 학습
⚠️ 해석: Megascale은 대규모이지만, ΔΔG° 값의 범위가 좁아(–3 ~ +5 kcal/mol) 대부분의 변이 예측에 유리하지만 극단적인 안정성 변화 (예: ±10kcal/mol)에는 약함.
Fireprot은 넓은 범위의 ΔΔG°를 포함하지만, 실제로 대부분의 돌연변이들(96.7%)은 Megascale 범위 안 (–3 ~ +5) 안에 존재해요.
→ 이 안에서는 양호한 상관관계(PCC/SCC) 유지됨.
-> 따라서 Megascale 기반 학습 모델도 Fireprot 예측에는 어느 정도 통함, 하지만 outlier 예측에는 제한.
🔹 3. 단백질 길이별 RMSE 성능 분석 (Fig. 2C)
100개 미만의 아미노산을 가진 단백질은 대부분 RMSE < 1.0 kcal/mol 유지.
100개 이상에서는 일부 예외 있지만, 13/17개의 단백질도 RMSE < 1.5 kcal/mol.
de novo 단백질은 일반 단백질보다 RMSE가 조금 낮음 (0.60 vs 0.66), 스코어 분포도 더 좁고 안정적.
📌 의의:
길이가 짧고 설계된(de novo) 단백질은 모델이 안정성 예측에 더 유리함. 이는 자연 단백질에 비해 구조적으로 더 단순하거나 예측이 쉬운 특징을 갖기 때문일 수 있음.
🔷 1. Comparison of ThermoMPNN with Other Models (ThermoMPNN과 기존 모델의 성능 비교)
🔬 실험 세팅
Megascale 데이터 기반 학습 후 Fireprot(HF)에서 비교
평가 지표: Pearson correlation coefficient (PCC) 및 Spearman (SCC)
ThermoMPNN은 다른 모델 대비 성능이 우수함.
특히 구조 기반 정보와 경량 Attention, MLP 조합이 기존 LLM score 기반 모델보다 더 일반화 성능이 좋음.
ThermoMPNN처럼 구조와 주변 문맥(Decoder Embedding + Light Attention)을 함께 고려하는 방식이 안정성 예측에 더 효과적임을 입증함
🔍 Exploration of ThermoMPNN Prediction Trends (ThermoMPNN의 예측 경향 분석)
이 그래프는 ThermoMPNN과 ProteinMPNN이 어떤 아미노산으로 변이(mutation)를 선호하는지 비교한 것
단백질의 각 위치에 대해 가장 안정성을 높이는 아미노산을 선택했을 때,
ThermoMPNN이 ProteinMPNN에 비해 얼마나 더 자주 특정 아미노산을 선택했는지 변화량(%)을 나타냄
변이 위치는 core (내부), boundary (경계), surface (표면) 세 가지 범주로 나뉘어 분석됨.
🧬 세로축: 아미노산 종류
A(Alanine)부터 Y(Tyrosine)까지, 총 20개 아미노산 중 Cysteine(C)는 제외됨
→ 이유: 이황화결합(disulfide bond) 형성 가능성 때문에 안정성 예측이 불확실함.
하단의 hphob와 hphil은 각각:
hphob: 소수성 아미노산 (hydrophobic)
hphil: 친수성 아미노산 (hydrophilic)
→ 이들 그룹 전체에 대한 총합 변화도 표시됨.
| 아미노산 | 경향 (Change %) | 해석 |
|---|---|---|
| I (Isoleucine) | ↑ 약 +10% (core/surface 모두 증가) | 소수성 코어를 강화해 구조적 안정성을 높이는 경향 |
| W (Tryptophan) | ↑ 약 +5~7% | 큰 부피의 소수성, π-π stacking 등 안정화 기여 |
| R (Arginine) | ↑ 표면에서만 +10% | 양전하와 수소결합이 구조 안정에 기여할 수 있음 |
| K (Lysine) | ↓ 표면에서 –20% 가까이 | 과도한 양전하로 인해 destabilizing(탈안정화) 가능성 |
| E (Glutamic Acid) | ↓ 표면에서 –10% | 음전하 역시 destabilizing 요소 |
| hphob (소수성 전체) | ↑ 약 +10~15% | 전반적으로 ThermoMPNN은 소수성 아미노산을 더 선호 |
| hphil (친수성 전체) | ↓ 약 –15% 이상 | 친수성 잔기를 덜 선택함 |
극성(CDEHKNQRSTY), 비극성(FGILMPVW), 알라닌(A)
✅ 주요 결과 요약
🔹 1. ThermoMPNN은 hydrophobic residue(소수성 아미노산)에 대한 선호 경향을 보임
특히 표면(surficial)에 위치한 residue에서도 이러한 경향이 유지됨
단백질 안정성 극대화가 목표이므로, 용해도보다 stability를 더 우선함
이는 일반적으로 소수성 아미노산은 core(내부)에 위치하고, 친수성은 표면에 위치한다는 상식과 다소 충돌함
→ ThermoMPNN은 단백질의 전체 안정성 향상을 목적으로 하기 때문
Lys/E 같은 전하성 아미노산 기피 -> 표면 전하가 구조 불안정 유발 가능
자연계 분포와는 다름 -> ThermoMPNN은 자연 진화 대신 ΔΔG° 안정성 최소화 목적 학습된 모델임
따라서, 실험 설계에 적용 시 고려
-> 실제 적용 시 용해도(solubility), 발현성(expression) 등은 따로 검토 필요
🔹 2. 이 경향은 실험적 연구(Tsuboyama et al.) 결과와 일치함
Tsuboyama 연구에 따르면:
Isoleucine, Tryptophan 등은 자연계 단백질에서는 thermodynamically 유리함에도 불구하고 underrepresented
반면, Lysine, Glu는 thermodynamically 불리함에도 overrepresented
이는 자연 선택이 stability 외의 요소 (solubility, activity 등)를 고려하기 때문
ThermoMPNN은 순수한 안정성 최적화를 목표로 하므로, 이론적으로는 자연계보다 더 stability-efficient한 residue 분포를 보여줌
✅ 1. 전이 학습(Transfer Learning)의 가장 큰 이점
ThermoMPNN은 직접 ΔΔG° 예측을 위해 처음부터 훈련된 모델이 아님.
대신, ProteinMPNN이라는 대규모 PDB 기반 서열 복구 모델로부터 전이 학습됨.
ProteinMPNN이 사용한 PDB 학습 데이터는:
19,700개의 단백질 클러스터로 구성됨.
이는 열역학적 안정성 데이터를 가진 Megascale dataset (162개 클러스터)보다 약 100배 큼.
🧠 따라서:
큰 모델(예: ProteinMPNN)은 안정성 데이터처럼 적은 데이터를 직접 학습하면 overfitting 되기 쉽다.
ThermoMPNN은 작은 stability prediction module만 추가로 학습시켜 전이 학습을 활용 → 과적합 회피 가능.
✅ 2. 전이 학습 전략의 성공과 실패 요인
실패한 전략: ProteinMPNN 전체를 ΔΔG° 예측용으로 다시 fine-tuning하면 오히려 과적합 발생.
특히 Megascale 데이터처럼 비교적 크다고 하더라도 ΔΔG° 같은 정량적 태스크에는 여전히 데이터가 부족함.
성공한 전략:
ProteinMPNN 본체는 그대로 두고, 작고 단순한 ThermoMPNN stability prediction module만 추가 학습
→ 이를 통해 안정성 관련 일반적인 구조 패턴을 효과적으로 학습할 수 있었음.
Megascale vs Fireprot dataset 비교
Megascale을 활용한 모델이 Fireprot 기반 모델보다 더 나은 성능을 보임.
특히, 데이터셋에 포함된 "총 변이 수"가 중요하지, 단백질 개수는 덜 중요했음.
✅ 1. 실험적 성능 평가: Fireprot 데이터셋 기반
ThermoMPNN이 ΔΔG° < –0.5 kcal/mol 이라고 예측한 돌연변이 중 56%가 실제로 안정화 효과 있음.
ΔΔG° < –0.5는 안정화(stabilizing) 기준으로 흔히 사용되는 문턱값.
즉, ThermoMPNN의 positive 예측 정확도(PPV)는 56%
➡️ ThermoMPNN은 기존 도구들보다 우수하거나 비슷한 성능을 보이며, 특히 간단한 입력 구조 정보만으로도 이 성능을 달성함.
✅ ThermoMPNN의 차별점
ΔΔG° 예측을 위한 입력으로 wild-type 단백질 구조만 사용.
다중서열정렬(MSA), 계통 정보 등 불필요.
그럼에도 불구하고, 속도와 범용성, 정확도 면에서 매우 경쟁력 있음.
안정화 돌연변이뿐 아니라, 역변이 (inverse mutation) 테스트에서도 뛰어난 성능을 보임.
✅ 한계점
✅ 1. ΔΔG° 예측 범위가 제한됨
Megascale 데이터셋은 proteolysis 기반의 실험 데이터로, 측정 가능한 ΔΔG° 값의 다이내믹 레인지가 ±5 kcal/mol 정도로 제한됨.
이 실험 방식(proteolysis assay)은 안정성 변화를 완전히 반영하지 못함.
반면, Fireprot 등 다른 실험 기반 데이터셋은 ±10 kcal/mol 이상의 넓은 범위의 안정성 변화를 포함.
📌 의미: Megascale로 훈련한 모델은 큰 안정성 변화 (large ΔΔG°) 를 제대로 예측하기 어렵다.
✅ 2. 표면 Cysteine 변이의 과대평가
Megascale 데이터에서는 표면 아미노산을 Cysteine으로 바꾸는 돌연변이가 과도하게 안정화 효과가 있는 것처럼 관측됨.
이유: Intermolecular disulfide bond 형성이 일어나 proteolysis 효소가 단백질을 잘 자르지 못함.
그 결과: 단백질이 더 안정화된 것처럼 잘못 측정됨 → ThermoMPNN이 Cys 변이를 선호하게 되는 부작용 발생.
ThermoMPNN을 학습시킬 때, 이러한 부작용을 방지하기 위해 Cys 변이를 제한된 허용 아미노산 목록에서 제거해야 함.
✅ 3. 이론적 최대 성능의 불확실성
Megascale 데이터는 proteolysis 실험에서 유도된 ΔΔG°값이기 때문에, 물리적 실험값과의 상관성이 일정하지 않음.
단백질별로 예측값과 실제값 간의 Pearson 상관계수(PCC)는 다음과 같음:
최고: PCC = 0.96 (거의 완벽한 상관관계)
최저: PCC = 0.75 (좋지만 완벽하진 않음)
📌 의미: Megascale 데이터로 학습한 모델의 예측 성능은 이론적으로도 제한적이며, 완전한 정확도는 기대하기 어려움.
✅ 4. ThermoMPNN은 안정성을 우선시하는 모델
ThermoMPNN은 구조 기반의 단백질 안정성 향상 (ΔΔG° 감소) 을 목표로 훈련됨.
반면, ProteinMPNN은 서열 복원 모델로,
안정성 외에도 용해도(solubility), 기능(function) 등 다양한 제약을 고려함.
두 모델 간 아미노산 선호도 차이가 발생하는 건 자연스러운 결과임.
✅ 5. ThermoMPNN은 소수성(hydrophobic) 아미노산을 더 선호
코어(core) 뿐만 아니라, 특히 표면(surface)에서도 소수성 아미노산으로의 돌연변이를 더 선호함.
이는 thermostabilizing 돌연변이의 일반적인 경향과 일치함.
소수성 잔기가 표면에서 비극성 표면(nonpolar surface) 을 감추는 식으로 접힘 자유에너지(free energy of folding)를 낮추는 것이 가능하기 때문.
이전의 실험적 유도 돌연변이 연구(directed mutagenesis) 들과도 일치.
⚠️ 주의점: 과도한 소수성은 단백질 오접힘 및 응집(aggregation) 유발 가능
ThermoMPNN은 안정성 위주로 훈련되었기 때문에,
많은 위치에 소수성 변이를 추천할 수 있음.
이 경우, 실험적으로는 응집성 단백질로 이어질 수 있음.
✅ 따라서, ThermoMPNN은 소수의 결정적 포인트 돌연변이 설계에 적합하고, 전체 서열을 다시 디자인하는 데는 적합하지 않음.
