CLLMate: A Multimodal LLM for Weather and Climate Events Forecasting

홍콩과기대 사람들

사용한 데이터는 기상 래스터 데이터 spatio-temporal data, including raster data
and event, and knowledge graph for the WCEF task. ERA5쓰는 듯

멀티모델 LLM을 통해 기후 데이터를 해석하고 예측까지 한다.
중국 지역만 보고있고,

기존에는 특정 기상 변수값만 예측을 했는데, 폭염&홍수 같이 어떤 event를 예측하는 경우는 없었음.
그래서 레이스터 기상 데이터 + 환경 뉴스 기사 에서 텍스트를 추출한 데이터를 사용한다.
기사 에서 추출한 데이터는 -> triples 형태로 추출해서 지식 그래프를 구축

레이스터 기상 데이터 -> 이미지로 변환하고 텍스트랑 정렬해서 데이터셋 구성
이렇게...
그래서 이 관계는 자연어로 설명할 수 있게 뭔가 뭔가 다중 모드 학습 을 수행한다고 함.

전체적인 구조는 아래와 같음

Llama3 파인튜닝 한거임.

성능도 좋긴 한데 애초에 뭔가 핀트를 벗어난 느낌
뭔가 그 숫자를 맞춘다기보다 기준 자체를 '폭염' '홍수' 이렇게 정해놔서 그런가

약간 애매함...

성능도 ... 음. 다른 모델들이랑 비교했으면 더 좋지 않았을까
그냥 baseline LLM 모델들이랑 했으면 비슷할 것 같은 생각.....