여러 천문학 교수님들께 자문을 구하고, 지웅배 교수님, 연세대 연구원분들과 회의를 하며 주제를 구체화할 수 있었다.
주제: [Post-merger Masquerade] 은하 병합 여부를 분류하는 멀티모달 AI 모델 연구 개발
Introduction
겉보기에는 조용히 떠 있는 정상 은하처럼 보이지만, 실제로는 과거에 다른 은하와 충돌하거나 병합된 ‘post-merger imposter’ 은하들이 다수 존재한다.
이를 위해 “딥러닝 기반 은하 이미지 및 물리량 분석을 통한 은하 충돌·병합 탐지 멀티모달AI"를 개발하여 은하를 병합 전, 병합 중, 병합 직후, 그리고 병합 이후 단계(기존 모델 또는 사람이 광학 이미지만으로는 판단할 수 없었던 병합 이후 은하)로 정밀하게 분류하는 것을 목표로 하고 있다.
이에 우리는 은하 충돌(merger) 여부를 분류하는 딥러닝 기반 모델을 제안하며, 특히 이미지 및 물리량 정보를 결합한 멀티모달 학습(Multimodal Learning) 기법을 적용하고자 한다.
이를 위해 다음과 같은 두 가지 주요 모달리티를 활용할 예정이다.
• 은하 이미지: TNG 시뮬레이션 기반 gri 밴드 이미지
• 정량적 메타데이터: 질량, 적색편이, SFR, 모양 파라미터 등
기존 Zoobot 기반의 은하 형태 인식 모델은 이미지 기반 단일 입력(unimodal)으로 병합 여부를 분류하였으나, 실제 은하 병합은 시각적 특징뿐 아니라 동역학적, 환경적 요인도 강하게 반영된다. 따라서 이를 보완하기 위해 이미지와 물리량 데이터를 통합한 멀티모달 아키텍처를 구성하고, 다양한 모델 구조 및 융합(fusion) 전략을 실험할 것이다.
이를 통해 정확도는 높이고 시간과 인력은 낮추고자 하며, 더 나아가 인간이나 기존 모델이 판별할 수 없었던 병합 흔적이 거의 남지 않은 post-merger imposter 은하도 판별해보고자 한다.
연구 목적 및 실험 이유 (Motivation & Objective) / Related work
1. 시각 정보의 한계 극복
Zoobot 기반 은하 병합 분류는 은하의 형태 정보를 주로 학습하지만, 경미한 충돌이나 초기 병합 단계는 이미지상에서 명확하지 않을 수 있다. 기존 연구(논문 1)에서는 이를 TNG 시뮬레이션 이미지에 파인튜닝하여 병합 은하 여부 분류에 사용했으며, 약 76%의 정확도를 달성하였다. 그러나 병합 확률이 낮은 케이스나 경계 케이스에서는 이미지 기반의 오분류가 발생하였다.
논문 1: Galaxy mergers in Subaru HSC-SSP: a deep representation learning approach for identification and the role of environment on merger incidence
2. 물리적 변수의 보완적 정보 활용
은하 질량비, 거리, 상대 속도, star formation rate(SFR) 등은 병합 여부의 중요한 지표로 작용할 수 있다. 이러한 정량적 변수들은 이미지가 갖지 못하는 비시각적 정보를 제공하며, 클래스 간 구분을 정밀화할 수 있다.
3. 멀티모달 구조의 가능성 검증
기존 연구(논문2)는 SDSS 기반 은하/별/퀘이사 분류 문제에서 멀티모달 구조가 단일 모달보다 F1 score 기준 최대 36% 향상됨을 보였다. SDSS DR16 데이터셋을 기반으로 이미지 + 메타데이터를 동시에 사용하는 멀티모달 CNN+ANN 아키텍처를 설계하였고, ResNet, Xception, EfficientNetB2 등을 이미지 CNN 백본으로 활용, 메타데이터는 ANN으로 처리해 Late Fusion을 적용하였다. 특히 퀘이사와 같은 소수 클래스 성능이 크게 향상되었다. 본 연구에서는 이 구조를 은하 병합 분류 문제로 확장하고자 한다.
논문 2: CLASSIFICATION OF QUASARS, GALAXIES, AND STARS USING MULTI-MODAL DEEP LEARNING
4. 소수 클래스(merger)의 성능 향상
병합은 자연적으로 드문 현상이므로 클래스 불균형 문제가 존재한다. 논문2처럼 멀티모달 구조를 통해 소수 클래스의 재현율과 정밀도를 향상시킬 수 있을 것으로 기대된다.
Approach / Method
멀티모달 AI 아키텍처
데이터 전처리
데이터 전처리 단계에서는 각 데이터 유형에 맞는 전처리 방법을 적용한다.
< 은하의 물리량 수치 데이터>
결측치가 존재할 수 있으므로 이를 평균값이나 0으로 대체하거나 해당 데이터를 삭제한다.
범주형 데이터는 레이블 인코딩(Label Encoding) 후 원-핫 인코딩(One-Hot Encoding) 등의 방법으로 처리하며,
연속형 데이터는 정규화 또는 표준화(StandardScaler, MinMaxScaler 등), 로그 변환을 통해 스케일을 맞춰준다.
이상치는 도메인 지식을 바탕으로 제거하거나 보정한다.
<광학 이미지 데이터>
광학 이미지 데이터는 Zoobot의 백본 모델을 활용해 이미지 임베딩 벡터로 변환한다.
데이터 정렬
데이터 정렬 단계는 서로 다른 형태의 데이터를 퓨전하기 위한 준비 단계로, 데이터의 차원을 맞추는 작업이 핵심이다. 특히 수치 데이터의 경우 각 칼럼에 의미가 내포되어 있으므로, 이를 단순한 벡터로 사용할 수 없다. 따라서 멀티레이어 퍼셉트론(MLP), Tab Transformer, 또는 FT-Transformer 같은 모델을 사용해 고차원 표현을 학습하고, 이미지 데이터의 임베딩 차원과 정렬시켜 준다.
데이터 퓨전
데이터 퓨전(Fusion) 단계에서는 정렬된 이미지 및 수치 데이터를 통합한다. 이때 두 데이터를 단순히 연결(concatenation)하는 것이 아니라, Cross-Attention Fusion 등의 기법을 활용하면 서로 다른 modality 간의 상호작용을 학습할 수 있다. 예를 들어 Cross-Attention은 수치 데이터의 특정 feature가 이미지의 어떤 지역 정보와 관련이 있는지를 학습하게 도와주며, 정보 간의 의미 있는 상관관계를 반영할 수 있다.
학습
학습 단계에서는 통합된 멀티모달 표현을 바탕으로 Softmax 등을 활용한 다중 분류 모델을 통해 은하의 병합 여부를 예측한다. 이 과정에서 모델의 일반화 성능을 높이기 위해 K-Fold 교차 검증 기법을 적용한다.
K-Fold 교차 검증은 전체 데이터를 K개의 구간으로 나눈 뒤, 각 구간을 한 번씩 검증 데이터로 사용하고 나머지를 학습에 활용하여 총 K번 모델을 학습하는 방식이다. 이를 통해 전체 데이터에 대한 안정적인 학습이 가능해지며, 모델의 편향을 줄이고 과적합을 방지하는 데 효과적이다.
