Abstract

---

• Histology imaging 은 microscopic level 에서 조직 구조와 구성을 검사할 수 있는 의학적 진단 및 연구에 중요한 도구이다.

• 질병 메커니즘을 밝히고 효과적인 치료법을 개발하려면 조직 구조의 기본 분자 메커니즘을 이해하는 것이 중요하다.

• 유전자 발현 프로파일링은 조직 구조의 근간이 되는 분자적 과정에 대한 통찰력을 제공 하지만, 이 과정은 시간이 많이 걸리고 비용이 많이 든다.

• 따라서 전체 슬라이드 헤마톡실린 및 에오신(H&E) 염색 조직학 이미지의 공간적으로 분해된 유전자 발현 프로파일을 생성할 수 있는 이중 모드 임베딩 프레임워크인 BLEEP(Bi-modaL Embedding for Expression Prediction)을 제시한다.

Introduction

---

• bulk RNA sequencing 은 하나의 샘플 내의 heterogeneity 를 포착하지 못함.
• scRNA-seq 나 snRNA-seq 는 spatial context 없이 heterogeneity 를 포착한다.
• 최근 몇넌 동안 spatial transcriptomics 가 histology imaging 과 gene expression profiling 간의 격차를 줄이는 방안으로 떠올랐다. (Visium, MERFISH, seqFISH+, STARmap, smFISH, Targeted ExSeq)
• 하지만 이러한 방법은 처리량이 낮거나 시간이 오래 걸리고 비용이 많이 들며 최적화를 위해 특수 장비와 광범위한 도메인 전문 지식이 필요하다.

---

• 이러한 bi-modal datasets 의 availability 로 조직의 histology image 만을 기반으로 전체 조직의 공간적으로 분해된 발현 프로파일을 예측할 가능성을 탐구할 수 있는 독특한 기회가 열린다.
• ST-Net 과 HisToGen 이 이러한 목적을 위해 개발된 방법이지만 제한적인 성공이다.

---

problem
1. 문제 정의가 잘못 되었다.
Histology images 는 paired spatial transcriptomics 데이터와 일부 정보를 공유하지만, 이미지 특징이 모든 유전자의 발현을 예측하는데 사용될 수 없으며, 반대로 모든 유전자 발현이 이미지 특징을 예측하는 데 사용될 수 없을 가능성이 높다. 하지만 세포 유형 또는 아형인 marker genes(MG), 고발현 유전자인 highly expressed genes(HEG), 고변이 유전자 highly variable genes(HVG) 들의 발현은 질병 진단 및 약물 개발에서 생물학적으로 가장 관련성이 높은 후보로 간주되므로 우선적으로 다뤄져야 한다.
2. 차원적으로 저주 받음.
일반적인 포유류 세포는 약 5000~15,000개의 유전자를 발현하는 것으로 추정된다. 기존 솔루션들은 200개 정도의 발현만 예측하고 원본 데이터셋의 분산과 heterogeneity 를 보존하지 못한다. 이는 원본 데이터에 내재된 생물학적 신호를 흐리게 하여, 예측이 실질적인 활용에 비효과적이게 만든다.

3. Spatial Transcriptomic method 의 발전하는 환경 때문에 기존 데이터셋은 단일 샘플 내에서나 서로 다른 샘플 간에서 experimental artifacts 가 발생하기 쉽다. 이는 Expression prediction model 의 학습을 복잡하게 만든다. 게다가 measured gene expressions 는 종종 protein profiles 과 일치하지 않느데 이는 H&E staining 에 반영될 수 있다.

---

그래서 BLEEP 을 제시한다. 조직학 이미지에서 유전자 발현을 예측하는 것과 관련된 앞서 언급한 problem 들을 해결하도록 설계된 새로운 bi-modal embedding 프레임워크이다.
BLEEP는 대조 학습(contrastive learning)을 사용하여, 참조 데이터셋에서 짝을 이루는 이미지와 발현 표현을 저차원 결합 임베딩 공간에서 효과적으로 정렬합니다.
이 joint embedding space 를 사용하여 BLEEP 은 참조 데이터셋의 expression profile 를 활용해 query image patch 의 gene expression 을 정확이 impute 한다.

---

• BLEEP의 효과를 10x Visium 플랫폼을 통해 수집된 도전적인 인간 간 조직 데이터셋을 사용하여 성능 벤치마크를 통해 입증함.
• BLEEP은 기존의 HisToGene 및 ST-Net과 같은 방법들에 비해 마커 유전자(MG), 고발현 유전자(HEG), 그리고 고변동 유전자(HVG)에서 원래 발현값과의 평균 상관 계수 측면에서 현저히 뛰어난 성능을 보임.
• BLEEP은 예측된 발현 프로파일에서 이질성을 보존하며, 원래 데이터셋에 존재하는 유전자 간 상관 관계를 재현하고 노이즈를 제거하는 데에도 성공함.

---

• Contrastive objective 를 통해 이미지와 expression modalities 간에 공유된 특징이 학습되도록 암묵적으로 유도함으로써, 발현 예측 문제의 ill-posed nature 를 완화한다.
• 학습된 joint embedding 에서 새로운 query-refence imputatoin 과정은 the expression prediction problem 에서 발생하는 curse of dimensionality 를 완화한다.
• 이는 쿼리 이미지 패치의 유전자 발현 프로파일이 독립적으로 예측 되는 것이 아니라 embedding space 에서 가장 가까운 k 개의 reference expression profiles 로부터 계산 되기 때문이다.

---

우리가 아는 한 histology images 에서 expression 을 예측 task 를 위해 제안된 최조의 bi-modal embedding-based 프레임 워크이다.
이 방식은 유전자 발현 프로파일링과 관련된 시간과 비용을 크게 줄여 연구 및 임상 응용 프로그램 모두에서 조직학 이미지의 고처리량 분석을 위한 새로운 길을 열 잠재력이 있다.

Related Works

• ST-Net 은 resnet50 이미지 인코더를 사용한 다음 Fully Connected layer 를 사용함.
• HisToGene 은 vision transformer 의 increased field of view 를 활용함.
  이 두 방법은 predicted panel 측면에서 제한적이거나 overfitting 되기 쉬움.
• HisToGene 과 His2ST 는 spot-spatial relations 을 활용하여 성능을 개선함.
  하드 코딩된 위치 정보는 데이터가 부족한 시나리오에서 과적합으로 이어질 수 있음.
• CLIP 은 이미지와 텍스트 설명의 pair 를 활용하여 언어와 시각 도메인의 격차를 메우고 cross-modal 이해와 추론을 가능하게함.
• SeuratV3 은 쿼리 데이터에 대해 참조 데이터셋 내 가장 가까운 앵커의 선형 결합을 통해 발현 프로파일을 계산함. 그러나 Seurat 은 모달리티 간 통합을 위해 shared expression panel 이 필요함. BLEEP 은 병리 이미지에 존재하는 형태학적 특징만을 기반으로 공간적으로 분해된 발현 예측을 수행할 수 있음.

Methods

• BLEEP, HisToGene, ST-Net 을 훈련하고 벤치마킹에 사용된 데이터 셋은 이식에 적합한 신경학적으로 사망한 기증자의 간 조직에서 얻은 네 개의 16 micrometer 두께의 슬라이스로 구성됨. 이 조직들은 OCT 로 임베딩 되고 냉동된 후 cryostat 로 슬라이스 처리되었으며, 10x Genomics Visium platfor 을 사용해 이미징됨.
• 슬라이스에는 각각 2378, 2349, 2277, 2265개의 스팟이 포함됨.
• 각 스팟을 중심으로 한 약 55μm 크기의 224x224 이미지 패치가 전체 슬라이드 H&E 이미지에서 추출되었으며, 해당 스팟의 유전자 발혀 프로파일과 paired 됨.
• 각 spot 은 Scanpy 패키지를 사용하여 총 개수 정규화 및 로그 정규화됨.
• 4개 슬라이스 각각의 top 1000 highly variable genes 의 합집합은 train 및 prediction 에 사용됨. 총 3467 개임.

---

1. 이미지 encoder와 expression encoder를 활용해서 두 모달리티에서 특징을 추출함.
2. B(Batch) 개의 쌍을 이룬 이미지 패치 $V \in \mathbb{N}^{B \times L \times L}$ 와 정규화된 expression profiles $X \in \mathbb{N}^{B \times C}$ 가 주어지면 (L = Image patch Size, C = gene set size) 이미지 인코더 $f_{img}$ 와 $f_{expr}$ 을 사용하여 input 을 h 차원의 이미지 임베딩 $H_v = f_{img}(H) \in \mathbb{N}^{B \times h}$ 과 expression 임베딩 $H_x = f_{expr}(X) \in \mathbb{N}^{B \times h}$으로 projection 한다.

여기서 constrastive learning 을 사용하여 $H_v$ 와 $H_s$ 간의 latent space 를 further align 한다.

$H_x$ 와 $H^T_v$ 를 내적해 이미지와 발현 임베딩 간의 유사도를 계산한다.

$H_v$ 와 $H^T_v$ 를 내적해 이미지간의 내부 유사도를 계산한다.
$H_x$ 와 $H^T_x$ 를 내적해 expression 의 내부 유사도를 계산한다.
$target$ 은 내부 유사도의 합을 softmax 함.

$sim(H_v, H_x)$ 로 이미지 임베딩 $H_v$ 와 expression 임베딩 $H_x$ 간의 유사성을 계산하고, target 간의 차이를 줄임. 뿐만 아니라 전치하여 $H_x$ 를 기준으로 $H_v$ 의 유사성을 학습하도록 유도함.

Citation

Xie, Ronald, et al. "Spatially resolved gene expression prediction from H&E histology images via bi-modal contrastive learning." Proceedings of the 37th International Conference on Neural Information Processing Systems. 2023.

회고

target 행렬을 대조 학습에서 일반적으로 쓰이는 identity matrix 가 아닌 자신들만의 새로운 target matrix 를 만든 것이 참신한 것 같다.