주제: [Post-merger Masquerade] 은하 병합 여부를 분류하는 멀티모달 AI 모델 연구 개발
기간: 2025-03~2025-12
인원: 컴퓨터공학과 전공 학부생 3명
2025년 1학기~2학기 약 1년간 진행하는 컴퓨터공학과 졸업 연구 진행 상황을 중간 정리해보려 한다.
1. 주제 선정
1) 천문학 도메인 선정
멀티모달이라는 큰 주제 안에서 어떤 도메인을 선정하여 연구를 진행할지 고민하던 중, 천문학이라는 분야가 아래와 같은 장점이 있다고 판단되었고, 우리 팀이 기여할 수 있는 부분이 분명히 있다고 생각되어 선정하게 되었다.
- 거의 모든 데이터가 공개되어 있어 연구 접근성이 높음
- 최근 AI 융합이 활발히 시도되고 있는 분야
- 이미지와 물리량 등 다양한 모달리티가 존재해 멀티모달 AI 연구에 적합
- 아직 실제 현장에서 멀티모달 AI 적용이 드문 상황
2) 선행 논문 탐색
우리는 모두 컴퓨터공학과 학부생으로 천문학에 대해서는 아는것이 많이 없었다. 이에 우선 천문학과 멀티모달 AI가 결합된 선행논문을 찾아보았다.
PhotoRedshift-MML: A multimodal machine learning method for estimating photometric redshifts of quasars
논문 링크
그 중 광학 데이터로부터 생성된 스펙트럼 특징을 활용한 멀티모달 머신러닝 기법을 통해 퀘이사의 광학적 적색편이 예측 정확도를 향상시키는 방법을 제안하는 논문을 발견했다.
논문에 대해 간략히 정리하자면)
적색편이 추정을 위해선 분광 데이터(spectroscopic data)가 필요하지만, 망원경 관측 자원의 제한으로 인해 많은 퀘이사에 대한 분광 데이터가 부족한 문제가 있다. 이에 광학 데이터(photometric data)만으로 가상의 분광 특징(spectral features)을 생성하여 해당 문제를 보완하는 방법을 제안하였다.
해당 논문은 Monthly Notices of the Royal Astronomical Society (MNRAS)라는 SCI(E)급 저널에 출판된 논문으로, 우리에게 멀티모달을 활용한 천문학 연구가 가능함을 보여주었다.
3) 천문학과 팀원 모집
부족한 천문학적 지식을 보완하기 위해 천문학과 팀원을 모집하기로 하였다.
서울대, 연세대, 경희대 에브리타임 및 천문학과 카톡방에 팀원 모집 글을 올렸고, 정말 다행히 지원자분들이 계셨다.
최종적으로 우리는 연세대 천문우주학과 학부생 한 분, 석사생 한 분과 함께 연구를 진행하게 되었다!
4) 천문학 교수님 자문
선행연구를 찾은 후, 주제 선정을 위해 전문가의 자문을 구하기로 했다.
이에 서울대학교 천문학전공, 연세대학교 천문우주학과, 경희대학교 우주과학과, 충남대학교 천문우주과학과, 충북대학교 천문우주학과, 경북대학교 천문대기과학전공, 세종대학교 물리천문학과 교수님들께 메일을 보내어 아래와 같은 질문에 대한 조언을 부탁드렸다.
질문 목록
- 현재 천문학에서 관측 자원의 제한으로 인해 발생하는 데이터 부족 문제는 어떤 것들이 있는지
- 위 질문의 누락된 데이터를 생성하기 위해 필요한 데이터의 종류와 연관성
- 이와 같은 연구와 관련해서 참고하면 좋을 만한 자료
서울대 황호성 교수님, 연세대 변용익 교수님, 신민수 박사님, 김대원 박사님, 서울대 우종학 교수님, 충북대 김경찬 교수님, 세종대 지웅배 교수님, 운용민 교수님께 메일 답변을 받을 수 있었다.
생각보다 많은 교수님께서 답변을 보내주셨고, 주제 선정에 많은 인사이트를 얻을 수 있었다.
메일 자문 답변 정리 포스팅
교수님들께 자문받은 내용을 토대로 아래와 같은 주제 리스트를 정리하였다.
-
저해상도 지상망원경 이미지로부터 고해상도 우주망원경 이미지 생성
지상망원경의 블러링(seeing effect)으로 손실된 고해상도 정보를 복원하는 연구. 저해상도 이미지(지상)와 고해상도 이미지(허블 등)를 함께 학습시켜, 고해상도 이미지가 없는 천체의 고해상도 정보 생성.
출처: 윤용민 교수님 메일 답변 -
측광 데이터로부터 스펙트럼 형태(분광 데이터) 예측
다중 밴드 측광 데이터를 기반으로 전체 스펙트럼(연속적인 파장 분포) 형태를 예측. 고가의 분광 관측 없이 스펙트럼 기반 분석(적색이동, 금속함량 등)에 활용 가능
출처: 지웅배, 우종학 교수님 메일 답변 -
측광 데이터로부터 photometric redshift 예측
제한된 밴드 수의 photometric 데이터에서 분광학 수준의 정밀도로 적색이동을 예측. 다양한 모달(색, 형태, 위치 등)을 결합한 멀티모달 학습
출처: 황호성 교수님 메일 답변 -
측광학적 특성을 이용한 은하의 역학적 특성 예측 (ex. SFR, Stellar Mass)
측광 자료로부터 은하의 각운동량/rotaitional parameter를 구하는 연구
출처: 지웅배 교수님 메일 답변 -
은하 형태 자동 분류 연구를 위한 데이터 수집 과정에서의 누락 데이터 생성
측광 자료를 기반으로 spiral vs elliptical 구분하기 위해 필요한 데이터 중 누라가 데이터 생성
출처: 지웅배 교수님 메일 답변 -
우주과학 데이터 질 저하 복원
우주과학 분야 데이터에서 누락된 구간을 주변 데이터로부터 보간하거나 생성.
ex) 우주과학 또는 행성 탐사에서 고정 이미지(표면 관측)와 시계열 센서 데이터(입자, 자기장 등)를 결합하여 누락된 모달리티(예: 특정 센서 값) 생성.
출처: 김경찬 교수님 메일 답변
5) 천문학 교수님과의 면담
위와 같이 교수님들과 메일을 주고받으며 몇몇 교수님들과의 면담 기회를 얻을 수 있었다.
세종대 지웅배 교수님 면담
- SpaceAI 프로그램 연구제안서 작성 제안을 주셔서 함께 연구를 진행하기로 하였다!
- 면담을 하며 주제를 구체화해 나갔는데, 최종적으로 멀티모달을 활용한 은하 병합 식별을 주제로 가져가게 되었다.
<구체화>
외견상 고립된 은하처럼 보이지만 실제로는 최근에 은하 병합을 겪은 'post-merger imposter' 은하들을 식별하고 분석하는 연구이다.
시뮬레이션 데이터(예: Illustris TNG)와 시각 분류 카탈로그를 기반으로 before–after–post merger 은하들을 분류하는 모델을 학습시키고, 이를 실제 관측 이미지(SDSS, DESI 등)에 적용하여 겉보기에는 고립되어 있지만 병합의 흔적을 감춘 은하들을 찾아낸다.
이후 이들 imposter 은하와 진정한 고립 은하 간의 물리적 특성 차이(예: 별 생성률, 형태학, 운동학 등)를 통계적으로 비교하고, 필요한 경우 충돌 상대 후보(companion candidate)를 제시함으로써, 고요해 보이는 우주에 숨겨진 격렬한 상호작용의 흔적을 드러내는 은하들의 '가면무도회'를 밝히고자 한다.
주제가 은하 병합으로 좁혀지게 되어, 이후 면담을 진행한 교수님들께는 주제에 관한 질문과 더불어 천문학과 AI의 결합에 관한 질문을 드렸으며 아래와 같은 답변을 얻었다.
서울대 Sascha Trippe 교수님
교수님께서는 우리 주제에 대해 매우 긍정적인 조언을 주셨고, 후속 자료(논문, 인물 연락처) 까지 보내주셨다.
멀티모달 AI를 천문학에 적용하는 데 있어 관측/시뮬레이션 데이터의 특성 차이, 생성 모델 사용의 한계, 활용 가능한 실제 분류 지표(Galaxy Zoo 등)에 대한 인사이트를 얻을 수 있었다!
1. Galaxy Zoo 소개 및 추천
- 수백만 개 은하 이미지에 대해 시민들이 형태를 분류한 Galaxy Zoo 프로젝트를 소개해주심
- 해당 프로젝트가 제공하는 형태 분류 정보(꼬리, 막대, 왜곡 등)는 AI 분류 모델의 좋은 라벨 또는 feature로 활용 가능
- 이를 자동화하여 AI 학습에 활용하는 방향을 추천해주심
2. 시뮬레이션 vs 관측 데이터 격차에 대한 우려에 대한 질문
- 시뮬레이션 데이터(TNG)는 해상도(resolution)가 관측에 비해 부족할 수 있으며, 특히 은하 병합의 세부적 구조 묘사에 한계가 있을 수 있음
- 시뮬레이션에서는 병합이 자주 발생함에도, 실제 병합된 은하 수가 적게 보일 수 있음 → 이는 해상도, 마스킹 문제일 가능성이 있음
3. 은하 병합 연구의 학술적 가치
- 은하의 형태 진화(evolution)를 이해하는 데 병합 이력은 핵심
- 현재 관측되는 타원은하의 상당수가 과거 병합의 결과일 것으로 추정됨
- 병합은 은하 중심 블랙홀의 활동성(AGN) 및 별 형성에 영향을 미치므로 중요한 연구 주제임
서울대학교황호성교수님
황호성 교수님과의 면담을 통해 TNG 데이터에도 여러 버전이 있으며, 그 중 TNG50이라는 데이터가 가장 고해상도임을 알게되었다. 또한 교수님 연구실의 GPU 서버를 공유해주신다는 약속을 받아 연구실 대학원생 분들께 서버와 TNG 데이터를 다루는 방법에 대해 배울 기회를 얻게 되었다!
1. 은하 병합 분류 주제 평가
- 은하 병합 분류를 위한 멀티모달 AI 설계는 최신 천문학 트렌드와도 잘 맞으며, 매우 적절한 주제
- 기존의 은하 형태 분류(타원/나선/불규칙)에서 더 나아가, 불규칙 은하 중 병합 단계 분류로 확장한 점을 높게 평가
- Zoobot에 물리량을 추가하는 방향도 타당하며, 시민과학 프로젝트(주니버스)와도 연계 가능
2. TNG 데이터 활용 관련 조언
▶ TNG 데이터 구성
- 은하 ID, 이미지, 수십 개의 물리량 메타데이터, 병합 정보(Merger Tree) 등 잘 구성되어 있음
- 스펙트럼 데이터도 제공되지만, 대부분의 중요한 정보(별 생성률, 질량, 속도 분산 등)는 이미 정리된 수치로 제공됨
▶ 중요한 물리량
질량 (Mass)별 생성률 (Star Formation Rate)속도 분산 (Velocity Dispersion): 병합 시 내부 별의 무작위 운동 증가 → 중요한 병합 지표
3. 정답 레이블 구성 전략
- Merger Tree + 인접 은하 거리 정보를 활용한 레이블 생성 방식 제안
예: 과거 1억 년 이내 병합 발생 여부 → 병합/비병합 은하 분류 - 현재 가까운 거리에서 병합 중 여부 → 병합 진행 중 은하 탐지
- 레이블링 수작업 최소화 가능, 다만 이미지 시각 확인으로 검수 필요
- 4천 개 병합/비병합 은하를 대상으로 한 선행 연구도 충분한 데이터 규모로 인정됨
4. 실제 관측 자료 적용 가능성
- TNG는 이상적인 시뮬레이션이므로 현실 데이터와 차이가 존재
- 하지만, TNG의 고해상도 버전(
TNG50)을 활용하면 상당히 관측에 가까운 시각적 결과 가능 - 실제 관측 시에는 모든 물리량을 알 수 없으므로, 메타데이터 수에 따른 성능 변화 실험 필요
- 예: 2개 사용 vs. 5개 vs. 10개
5. AI 활용과 해석 가능성에 대한 견해
- AI 확산은 활발하나, 설명력 부족 문제는 여전히 우려됨
- 은하 분류처럼 노동 집약적인 작업 자동화에는 매우 효과적
- 기작 설명이 필요한 연구에는 보조적 도구로 신중하게 활용 권장
6. 모델 및 컴퓨팅 자원 조언
- 이미지 기반 형태 분류 모델은 다양하게 존재하며, Zoobot도 충분히 유효함
- 완전 신규 모델보다는 기존 모델 + 멀티모달 확장 설계 전략 추천
- 초기 실험은 Google Colab으로 충분히 가능
- 필요 시 교수님 연구실의 GPU 서버 지원 가능!!!!!
7. 후속 지원 제안
- TNG 데이터에 정통한 대학원생 소개 예정 → 정답 생성, 데이터 추출법 학습 가능
- 김석 박사 (충남대) 연구 참고 추천 – TNG를 활용한 분류 AI 관련 선행연구 수행
8. 기대 효과 및 사회적 의의 관련 조언
- 자연과학 연구는 직접적인 사업성보다는 과학적 발견과 우주 이해에 집중
- 하지만, 분류/탐색 AI 기술은 다양한 산업에도 응용 가능하므로 경험 자체가 의미 있음
경희대 문용재 교수님
문용재 교수님과의 면담을 통해 컴퓨터공학과 학부생으로서 어떤 방향으로 연구를 이끌어 가야하는지 방향성을 잡을 수 있었다.
1. 데이터셋 및 멀티모달성 관련 조언
- 멀티모달 AI 설계의 핵심은 “페어링된 데이터” 확보 가능성에 있음
→ 예: 이미지 + 스펙트럼(도플러 시프트 등) - SDSS(슬론 디지털 스카이 서베이)는 광범위한 광학 및 일부 스펙트럼 데이터 보유함
- 반드시 확인할 것:
- 해당 논문에서 실제 사용한 데이터셋 확보 가능 여부 (GitHub, 공개 저장소 등)
- 해당 데이터에 라벨(병합 여부 등)이 존재하는지 여부
- 사용할 이미지와 스펙트럼 데이터의 매칭 가능성
2. 연구 설계 및 논문 작성 방향
- 컴퓨터공학과 학생으로서 천문학적 성과보다는 방법론(Methodology) 중심 성과 도출을 권장
- 기존 논문 따라가되, 성능 개선, 기술적 확장성, 멀티모달 접근 효과성을 증명하면 충분
- 학부 수준에서는 완전한 새 모델보다 기존 모델 개선 및 검증이 현실적
3. 천문학에서 은하 연구의 중요성
- 은하 연구는 우주론, 초기 우주, 적색편이 연구 등과 직접 연결되는 천문학의 핵심 분야
- 제임스 웹 우주망원경, 허블 우주망원경 등도 은하 관측 중심
- “천문학은 과거를 들여다보는 학문”으로, 인간의 지적 호기심을 자극하는 본질적 가치 존재
4. Zoobot 및 파운데이션 모델 관련
- Zoobot은 범용적인 이미지 분류 기반 모델로서 사용 가능함
- 파운데이션 모델은 각 도메인에 맞춘 특화형이 필요하며, 도메인 지식 기반 설계가 중요함
5. 충돌 여부 분류 문제에 대한 멀티모달 가능성
- 단순 이미지 오버랩과 실제 병합 구별을 위해 도플러 시프트 기반 거리 정보가 중요함
- 허블 법칙 활용 → 거리 추정 → 병합 여부 판단 가능
- 충돌 여부 분류에 스펙트럼 정보가 추가되면 정확도 향상 가능성 충분, 천문학적 의미도 큼
2. 주제 구체화
연구 주제
[Post-merger Masquerade] 은하 병합 여부를 분류하는 멀티모달 AI 모델 연구 개발
연구 목적
기존 은하 상호작용(merger/interaction) 분류는 단순히 “O/X 여부”만 판단하는 데 그쳤음.
본 연구는 여기에 시간 축(time-dependency)을 추가하여, 은하 간 상호작용의 선후 단계 및 시점까지 정량적으로 분류하는 것을 목표로 함.
또한, 기존에는 단일 모달리티인 이미지만으로 은하의 merger 여부를 판단하는 연구가 주로 진행되어왔음.
이에 이미지와 물리량을 결합한 멀티모달 연구를 통해 기존 이미지 분류의 정확도를 높이고자 함
3단계 목표
- 1차 목표: Interaction 여부 판별 (binary classification)
- 2차 목표: Interaction 세 단계 분류
(Pre-merger / Ongoing merger / Post-merger) - 3차 목표: Interaction peak 시점 기준 ± 수 Gyr 내의 시점을 포함하는 interaction phase 분류
- 더 나아간다면:은하 상호작용의 시공간 분포를 보여주는 4차원 Interaction Map 구현
배경 및 연구의 필요성
- 은하는 상호작용(merging/preprocessing)을 통해 별 형성률(SFR), 블랙홀 활동(AGN 등)에 영향을 받음
- 그러나 지금까지의 연구는 상호작용의 시점과 단계 구분 없이 병합된 샘플을 분석함
- 본 연구는 시간에 따른 상호작용의 전후 효과(SF, AGN 등)를 구분·정량화함으로써 기존 한계를 보완할 수 있음
데이터 및 구현 계획
데이터 소스
- Illustris TNG 시뮬레이션
- 이미지 + 측광/분광 기반 물리량 사용
- Snapshot 91 (z ≈ 0.08): 미래 정보까지 추적 가능한 시점 선택
학습 샘플 구성 절차
- Snapshot 91 기준 은하 선별
- 각 은하의 merger tree 추적 → interaction 시점 유추
- Pre-merger: 수억 년 내에 상호작용 예정
- Ongoing merger: 현재 상호작용 중
- Post-merger: 최근 상호작용 완료
- Isolated: 최근 ± 수 Gyr 동안 상호작용 없음
- 각 분류에 해당하는 은하 이미지 생성
- 1단계: SPH Viewer로 Stellar particle 시각화
- 2단계(선택적): SDSS-like 색상 구현 (stellar population 고려)
모델 구현 및 확장 방향
- 멀티모달 AI 아키텍처 설계
- Input: 이미지 + 물리량 벡터
- Output: Interaction 상태 또는 phase
- 예측 성공 시, SDSS/DESI 관측 데이터로 확장 적용
- 장기적으로는 우주의 시간축 기반 상호작용 지도(4D Interaction Map) 구축
요약
시뮬레이션 데이터를 기반으로 은하 상호작용의 선후 및 단계 구분이 가능한 AI 모델을 개발하여, 관측된 은하계의 상호작용 이력을 시공간적으로 재구성하고, 장기적으로는 시간 축 기반의 우주 상호작용 지도(4D interaction map) 구현이 목표!
3. 모델 아키텍처
2차 목표 Interaction 세 단계 분류를 위한 모델 아키텍처
: 데이터 벡터화, 정렬, 융합, 학습의 과정을 거쳐 모델링을 진행하게 된다.
이미지 벡터화
이미지 데이터 벡터화는 이미지를 컴퓨터가 이해할 수 있는 벡터 공간으로 투영시키는 것을 의미한다.
Zoobot의 backbone 중 Swin Transformer, ViT, ConVNeXt 등 ViT 기반의 벡터화 방식을 적용해보며 실험해볼 예정이다.
Zoobot의 backbone을 통과한 이미지 데이터는 CLS Token Vector로 표현 된다.
물리 데이터 정렬
물리 데이터는 결측치 처리, 정규화/표준화를 통해 전처리한 뒤 MLP, TabTransformer, FT-Transformer 등과 같은 ANN 모델을 통해 데이터의 패턴을 학습시키고 1D Feature Vector로 정렬시킬 계획이다.
데이터 융합
두 벡터는 Cross-Attention Fusion Layer에서 결합되는데, Cross-Attention은 서로 다른 입력 간의 관계를 학습하면서 각 벡터가 상대 벡터에서 어떤 정보를 주목해야 할지를 계산한다.
즉, 이미지 벡터는 수치 정보의 맥락을 참고하고, 수치 벡터는 이미지에서 중요한 특징을 함께 고려하며 정보가 융합된다.
이렇게 생성된 Fusion Vector는 Dense Layer를 거쳐 최종 예측을 수행하게 된다.
데이터 학습
마지막으로 Multi-Classification Model을 통해 Pre-merger, Ongoing merger, Post-merger로 분류 예측을 학습하게 된다.
4. 연구를 위한 공부
인공지능 공부
멀티모달 공부
관련 논문 공부
TNG 데이터 다루는 방법 배우러 서울대 황호성 교수님 연구실 방문
LSST with AI
