[논문 리뷰] Phenotypic Profile-Informed of Drug-Like Molecules via Dual-Channel Variational Autoencoders

coticoger·2026년 6월 15일

Introduction

약물 발견 분야에서는 오랫동안 target-based drug design, TDD가 중심적인 전략으로 사용되어 왔다. TDD는 질병 과정에 중요한 역할을 하는 특정 분자 표적, 주로 단백질이나 RNA를 먼저 찾아내고 검증한 뒤, 그 표적과 상호작용하여 활성을 조절할 수 있는 화합물을 설계하거나 선별하는 방식이다. 이 접근은 분자생물학과 단백질체학의 발전 덕분에 널리 활용되어 왔지만, 표적을 검증하는 과정이 복잡하고 많은 자원이 필요하다는 한계가 있다. 그 결과 이미 잘 알려진 표적에 연구가 집중되기 쉽고, 약물이 의도하지 않은 다른 표적과 상호작용하는 off-target effect로 인해 예측하기 어려운 부작용이 발생할 위험도 있다.

이에 비해 phenotypic drug discovery, PDD는 특정 분자 표적을 먼저 정하지 않고, 질병과 관련된 생물학적 시스템에서 화합물이 나타내는 관찰 가능한 효과, 즉 표현형 변화를 중심으로 약물을 찾는 접근이다. PDD는 질병의 정확한 분자 기전이 아직 잘 알려지지 않은 경우에도 사용할 수 있다는 장점이 있다. 실제로 많은 약물이 질병 표현형에 대한 치료 효과를 관찰하는 방식으로 발견되어 왔다. 그러나 PDD는 명확한 분자 표적이 없기 때문에, lead compound의 화학 구조를 어떻게 수정해야 효능, 안전성, drug-likeness를 최적화할 수 있는지 판단하기 어렵다는 문제가 있다.

이 한계를 극복하기 위한 전략으로 논문은 약물 처리에 의해 변화하는 유전자 발현 프로파일을 활용하는 방법을 제시한다. 유전자 발현 프로파일은 화합물이 세포 내 경로와 생물학적 과정에 어떤 영향을 주는지를 고해상도로 보여주는 정보이므로, 약물 처리 전후의 발현 프로파일을 비교하면 특정 화합물이 원하는 표현형 변화를 유도하는지 파악할 수 있다.

하지만 기존의 phenotype-based molecule generation 방법들에는 중요한 한계가 있다. ExpressionGAN, TRIOMPHE, GxVAEs, Gex2SGen 같은 방법들은 drug-induced expression profile을 조건으로 사용하여 분자를 생성하려 했지만, 대부분 약물 처리 후의 발현 상태만을 사용한다. 이 경우 약물이 실제로 유도한 perturbation effect를 충분히 반영하지 못한다. 또한 기존 방법들은 분자와 세포 환경 사이의 상호작용을 명시적으로 모델링하지 않기 때문에, 특정 세포 상태나 질병 맥락에서 원하는 표현형 변화를 유도할 수 있는 분자를 생성하는 데 한계가 있다

이러한 문제를 해결하기 위해 논문은 SmilesGEN이라는 새로운 deep generative framework를 제안한다. SmilesGEN은 de novo drug-like molecule generation을 목표로 하며, 약물에 의해 유도된 유전자 발현 변화와 phenotype-informed molecule generation을 하나의 통합된 프레임워크 안에서 결합한다. 핵심은 dual-channel variational autoencoder를 사용하여 분자와 세포 환경의 상호작용을 명시적으로 모델링한다는 점이다. 분자 정보와 expression profile을 공통 latent space에 매핑함으로써, 약물에 의해 유도되는 phenotypic change를 보다 직접적으로 표현할 수 있다.

SmilesGEN

Drug VAE

분자는 SMILES 문자열을 사용하여 표현된다. 분자 $S$ 는 $S=\left[s_1,s_2,...,s_n\right]$ 으로 표시한다 (각 문자는 원자 또는 화학 결합).

SmilesNet 인코더가 학습한 사후분포를 $q_{\phi}(Z_s \mid S)$ 로 나타낸다고 가정하면, 이는 정규분포 $\mathcal{N}(\mu_s,\sigma_u)$ 에 근사된다.

잠재 변수 $Z_s$ 는 $q_{\phi}(Z_s\mid S)$ 로부터 샘플링된 뒤, $\varphi$ 로 매개변수화된 $S \sim p_{\phi}(S\mid Z)$ 에 따라 분자 $S$ 를 재구성하는 데 사용한다.

p_{\varphi}(S\mid Z_s,Z_x) = \prod^n_{i=1}p_{\varphi}(s_i\mid s_1:i-1, Z_s,Z_x)

즉, 이전까지 생성한 SMILES 문자열과 latent 조건 정보 $Z_s,Z_x$ 를 이용해 다음 SMILES 문자열을 순차적으로 생성한다.

⚠️ 여기서 $Z_x$ 는 약물 유도 표현형 프로파일로부터 학습된 확률분포에서 추출된 조건 변수이다.
⚠️ 사전학습 과정에서는 $Z_x$ 가 $Z_s$ 로 대체된다

\mathcal{L}_S(\phi,\varphi) = \mathbb{E}_{Z_s\sim q_{\phi}(Z_s\mid S)}(log\ p_{\varphi}(S\mid Z_s,Z_x))-D_{KL}(q_{\phi}(Z_S\mid S)\| p_{\varphi}(Z_s))

$\mathbb{E}$ : encoder가 만든 분포에서 여러 가능한 $Z_s$ 가 나올 수 있는데, 그 $Z_s$ 들을 사용했을 때 평균적으로 $S$ 를 잘 복원하는지 보기위해서 사용함
$Z_s \sim q_{\phi}(Z_s\mid S)$ : 인코더가 만든 분포에서 latent vector 하나 샘플링
$log\ p_{\varphi}(S\mid Z_s,Z_x)$ : reconstruction 으로, $Z_s,Z_x$ 가 주어졌을 때, decoder가 원래 SMILES 분자열 $S$ 를 생성할 확률
$D_{KL}(q_{\phi}(Z_S\mid S)\| p_{\varphi}(Z_s))$ : encoder가 만든 latent $q_{\phi}(Z_s\mid S)$ 가 prior distribution(미리 정한 기준)과 멀어지지 않도록 한다.
$\phi, \varphi$ : 각 각 SmilesNet 인코더와 디코더의 파라미터

Profile VAE

post-treatment expression profile은 $X = (x_1,x_2,...,x_m)$ 으로 나타내며, pre-treatment expression profile은 $Y = (y_1,y_2,...,y_m)$ 으로 나타낸다.

ProfileNet 인코더가 학습한 사후분포를 $q_{\theta}(Z_x \mid X)$ 로 가정하면, 정규분포 $\mathcal{N}(\mu_x, \sigma_x)$ 에 근사된다.

사후분포로부터 잠재 변수 $Z_x$ 가 샘플링되고, ProfileNet 디코더에 의해 조건 변수로 사용되어 생성 과정 $X \sim p_{\psi}(X\mid Z_x)$ 에 따라 $X$ 를 재구성한다.

\mathcal{L}_X(\theta,\psi) = \mathbb{E}_{Z_x\sim q_{\theta}(Z_x\mid X)}(log\ p_{\psi}(X\mid Z_x))-D_{KL}(q_{\theta}(Z_x\mid X)\|p_{\psi}(Z_x))

Modeling Drug-Induced Phenotypic Change

약물 교란에 대한 세포 반응을 모델링하는 데 선형 가산성 가정을 따라, post-treatment expression profiles - drug perturbation effect = pre-treatment expression profile임을 가정한다.

그 결과, ProfileNet 디코더를 사용하여 pre-treatment expression profile을 결과 확률 변수로부터 샘플을 추출할 수 있다

Z_y = (\mu_x - \mu_s) + (\sigma_x + \sigma_s)\epsilon

여기서 $\epsilon$ 은 $\mathcal{N}(0,I)$ 에서 샘플링 된다.

따라서 다음과 같이 손실 함수를 정의한다

\mathcal{L}_Y(\theta,\psi) = \mathbb{E}_{Z_y \sim \mathcal{N}(\mu_x-\mu_s,\sigma_x+\sigma_s)}(log\ p_{\psi}(Y\mid Z_y)) - D_{KL}(q_{\theta}(Z_y\mid X)\| p_{\psi}(Z_y))

Full objective

L(\phi,\varphi,\theta,\psi) = \mathcal{L}_S(\phi,\psi) + \mathcal{L}_X(\theta,\psi) + \mathcal{L}_Y(\theta,\psi)

매개변수는 총 손실 함수를 최소화함으로써 최적화된다.

SmilesGEN 학습 과정은 두 개의 뚜렷한 단계로 구성된다.
1. 대규모 분자 데이터셋에서 SmilesNet을 사전학습. 사전학습이 완료되면 SmilesNet의 인코더는 고정된다.
2. 학습 단계에서 모델은 약물 $S$ , 교란된 발현 프로파일 $X$ , 교란되지 않은 발현 프로파일 $Y$ 를 입력으로 받아 이들을 재구성한다. 학습 후, 교란된 발현 프로파일로부터 약물 유사 분자를 생성하기 위해 ProfileNet 인코더와 SmilesNet 디코더를 유지한다.

SmilesNet 인코더와 디코더의 백본으로 GRU를 사용
ProfileNet 인코더와 디코더는 각각 크기가 512, 256, 192인 여러 개의 feed-forward layer를 채택

Datasets

[1] Genetic perturbation expression profile 데이터
- 목적: target 관련 분자 생성 성능 평가
- 사용 유전자: 암 치료 관련 target gene 10개
- 조절 방식:
  - Knockdown: AKT1, AKT2, AURKB, CTSK, EGFR, HDAC1, MTOR, PIK3CA
  - Over-expression: SMAD3, TP53
- 평가 기준:
  - DTC에서 가져온 해당 target protein의 inhibitor/agonist와 생성 분자 비교

[2] TCGA cancer patient expression profile 데이터
- 목적: 실제 암 환자 발현 프로파일 기반 therapeutic molecule 생성 평가
- 사용 암종:
  - TNBC: 삼중음성 유방암
  - CRC: 대장암
  - LUAD: 폐선암
- 평가 기준:
  - DrugBank에서 가져온 해당 암 승인 약물과 생성 분자의 구조적 유사도 비교

Results

유효성, 고유성, 신규성 지표 측면에서 SmilesGEN과 네 가지 기존 방법과 비교(GxVAEs, BI-AAE, FAME, TRIOMPHE)

생성된 분자와 알려진 리간드 사이의 Tanimoto coefficient 평가

각 표적 유전자에 대해 각 방법을 사용하여 50개의 분자를 생성, 생성된 분자와 해당 표적 유전자에 특이적인 알려진 리간드 사이의 Tanimoto coefficient를 계산. 각 방법에 대한 가장 높은 Tanimoto coefficient가 표에 들어감

coticoger

이전 포스트

[논문리뷰] TransGEM : a molecule generation model based on Transformer with gene expression data

다음 포스트