논문명: Galaxy Mergers in UNIONS – I: A Simulation-driven Hybrid Deep Learning Ensemble for Pure Galaxy Merger Classification
저자: Leonardo Ferreira, Robert W. Bickley, Sara L. Ellison, David R. Patton, Shoshannah Byrne-Mamahit, Scott Wilkinson, Connor Bottrell, Sébastien Fabbro, Stephen D. J. Gwyn, Alan McConnachie
저널명: Monthly Notices of the Royal Astronomical Society (MNRAS)
이 논문은 시뮬레이션 기반으로 생성한 현실적인 은하 이미지를 활용해 CNN과 Vision Transformer를 결합한 하이브리드 딥러닝 앙상블(Mummi)을 개발하고, 이를 통해 관측 데이터에서 고신뢰도의 은하 병합 및 병합 단계를 자동 분류하는 방법을 제안한 연구이다.
우리 연구에서 은하 이미지 처리시 유용할 것 같아 읽어보고자 한다.
✅Abstract
CNN과 ViT를 결합한 지도 학습 기반 하이브리드 딥러닝 프레임워크 Mummi(MUlti Model Merger Identifier)
Mummi는 IllustrisTNG100-1 시뮬레이션에서 생성된 합성 데이터를 기반으로 학습되며,아래 두가지를 수행하는 다단계 앙상블 모델로 구성되어 있다.
- 병합 여부 판별
- 병합 은하의 interacting pairs 또는 post-merger 상태 분류
성과
Mummi는 기존 머신러닝 분류기들보다 성능이 크게 향상되어, 수십억 년(Gyr) 단위의 시간 규모에서도 95%의 순수도(purity)를 달성하며, 관측 데이터의 병합 은하 분류에서 발생하는 클래스 불균형 문제를 효과적으로 완화할 수 있었다.
또한, 병합 은하를 쌍(pairs)과 병합 후(post-mergers) 단계로 96%의 정확도로 분류할 수 있으며, 병합 은하 샘플에서의 false positive 비율을 75% 감소시킬 수 있었다. 이를 실제 관측 데이터인 UNIONS DR5–SDSS DR7 중첩 영역에 적용한 결과, 총 13,448개의 고신뢰 병합 은하 후보를 탐지하였다.
✅딥러닝 모델 구조
CNN (EfficientNet)
- 이미지 내 local 특징을 감지하는데 탁월
- 기존 AlexNet보다 발전된 모델로, ResNet의 Skip Connection과 Depth-wise convolution 등을 통해 적은 계산량으로 높은 성능을 보임
- 이 논문에서는 EfficientNetB0 버전 사용
ViT (Swin Transformer)
- CNN과 달리 이미지 전체를 patch 단위로 나누고, global한 self-attention으로 학습
- 병합 특징이 이미지 어디에 있는, 멀리 떨어진 부분 간의 관계까지 학습 가능
- 이 논문에서는 Swin Transformer Tiny를 사용하였으며, embed_dim을 96->24로 줄여서 병합처럼 클래스 수가 적은 작업에 최적화함
Hybrid Approach
- EfficientNet과 Swin Transformer는 서로 다른 방식으로 정보들을 추출함
- EfficientNet: local 패턴 위주
- Swin Transformer: global 관계 위주
- 두 모델이 동일한 이미지를 보고 동의할 경우, 그 예측에 더 높은 신뢰를 부여함
- 실제 적용에서는 CNN-SwinT pair의 앙상블 구조를 사용함
정리
- 현재 문제 상황: 데이터셋 내에 병합 은하 비율이 낮아, 분류에서 false positive 제거가 중요함
- 모델 구조: CNN (EfficientNetB0) + ViT (SwinT Tiny) 하이브리드
- CNN 역할: local feature 추출
- ViT 역할: 이미지 global 관계 파악
- 장점: 서로 보완 -> 높은 정확도와 순수도 달성
- 데이터: 약 6.3백만잠의 TNG100 기반 mock 이미지로 훈련
✅MUMMI 프레임워크
Mummi는 은하 병합 분류를 위한 다단계 계층적(hierarchical) 딥러닝 프레임워크이다.
각 단계는 서로 다른 목적을 위해 훈련된 모델들로 구성되며, 병합 샘플과 비병합 샘플의 하위 집합을 각각 사용된다.
단계 구조
- 1단계: 병합 여부 분류
- CNN과 SwinT로 구성된 10쌍의 모델 앙상블을 이용해 은하를 병합/비병합으로 분류- 10쌍의 모델 전원 찬성 시 병합 판정
- 2단계: 병합 단계 분류
- 1단계에서 병합으로 판별된 은하들 중 pre-merging pair인지 post-merger인지 구분- 상대적으로 균형잡인 클래스이므로 모델은 1쌍만 사용
- CNN과 ViT 모델 모두 post-merger 판단시 post-merger로 분류
- (추후 계획) 3단계: post-merger의 시간 스케일 추정
hierarchical 구조의 장점
기존 방식들은 한 번에 병합 여부와 단계를 동시에 예측했지만, Mummi는 이를 분리함으로써 각 단계의 클래스 불균형 문제를 줄임
- 전체 은하 중 병합 은하는 매우 적음(5% 미만) -> 1단계는 정확성(순수도)이 중요함
- 병합 은하 안에서 pre/post 분류는 비교적 클래스 균형이 맞음 -> 2단계는 완전성이 중요함
✅실험 결과
실험 설계 요약
STEP 1: 병합 여부 식별
- 사용 데이터: MegaMockCFIS에서 생성한 병합 은하 및 컨트롤 은하 이미지 640만 장
- 훈련 방식: 데이터를 동일한 크기의 10개 서브셋으로 분할
- 각 서브셋마다 CNN + Swin Transformer 모델 쌍을 훈련시킴
- 총 20개 모델 → 투표 기반 앙상블로 병합 여부 결정
- 목적: 클래스 불균형이 심한 실제 관측 환경에서 순수도(purity) 극대화
STEP 2: 병합 단계 분류
- 사용 데이터: 병합 은하 중에서 쌍(pair) 또는 병합 후(post-merger) 상태의 이미지 총 360만 장
- 훈련 데이터: 약 292만 장
- 테스트 데이터: 약 73만 장
- 클래스 간 비율은 균형 잡힌 상태
- 모델 구조: CNN + Swin Transformer 한 쌍만 사용
- 전제: 이 단계에서는 이미 병합 은하로 분류된 것을 대상으로 하므로 클래스 불균형 문제는 없음
검증 방식
모든 TNG100-1 기반 실험은 10-겹 교차 검증(ten-fold cross-validation)을 사용하여 진행 그래프나 수치의 오차 막대는 ±1 시그마(σ) 범위를 나타냄
