Paper Review
1.[Paper Review]Pangu-Weather(by준용)
KIST에서 나왔다고 해서 읽어본 논문...Data2.5도 해상도TrainingA100 으로 12시간 이내 학습 ConvNext, SENet(Squeeze-and-Excitation Network) : 커널이 작아지면 저해상도 데이터의 경우 모델 성능을 향상
8.10일간 리뷰한 논문 목록
FengWuDiffDAGenCastFuXi-S2SFengWu-GHRReview: Physics-informed machine learningReview: PIML case studies for weather and climate modelingDySLIMControlN
9.What Should Data Science Education Do With Large Language Models?
요즘 클로드 쓰다가 LLM모델 관심있게 지켜보는 중 이것저것 찾다가 흥미로운 제목(수식이 없어보이는)의 논문 발견 👀Xinming Tu†, James Zou‡, Weijie J. Su⋄§, Linjun Zhang∗§† University of Washington‡ S
10.Adaptive Bias Correction for improved subseasonal forecasting
이번 주 팀미팅 논문리뷰 할 논문 들고오기...bias correction 어떻게 하면 좋은지 에 대한 연구인데3가지 방법을 제안함.테스트 날짜의 평균 예보값에다가(실제 관측치-평균 예보값)의 mean을 더해주는 방법=> 평균적으로 예보를 높게 예측하는지 낮게 예측하는
11.ExtremeCast: Boosting Extreme Value Prediction for Global Weather Forecast
주원언니 논문리뷰 들은것도 쳐주나요 (?)extreme value로 갈 수록 loss function에 돌리면 값이 뭉개지는 현상을 해결하는 Exloss이렇게 모델에 넣는다. 두개의 모델이 있는데 하나 학습해놓고 얼리고 나머지 학습하는 방식이다. 이거처럼 본인들이 어떤
12.Long-form factuality in large language models
요즘 LLM 논문 구경하는게 왜 재밋지원래 자기가 안하는 주제가 제일 재밋음제목에 factuality 들어간 논문을 오랜만에 봐서 오호 하면서 예전에 읽었던 논문 생각이 나서 대충 구경해봤다.예전에 Factuality Enhanced Language Models for
13.Climate Model Driven Seasonal Forecasting Approach with Deep Learning
장기 모델 구조 구상을 위해서 seasonal 예측 모델들 구조 논문들을 살펴봤다.기후 수치 모델과 딥러닝을 결합하여 Seasonal 2mt 변수 예보를 향상시키는 접근 방법.이 논문에서 제안된 모델 아키텍쳐는 UNet 아키텍쳐 기반인 UNet++로, 기존 Unet에
14.Aardvark Weather: end-to-end data-driven weather forecasting
원시 관측 데이터에서 시작하는 첫 end-to-end 모델새로운 데이터 껴넣기 좋음lead times of five to seven days on a global 1.41◦ grid첫 end-to-end DDWP 모델 (원시 관측을 입력으로 받는)In-situ 관측:
15.LoRA: Low-rank adaptation of large language models
논문은 학습된 over-parameterized model이 실제로 낮은 low intrinsic dimension에 있다는 아래 두 논문에 영감을 받았음 \- Measuring the Intrinsic Dimension of Objective Landscapes L
16.DeepPhysiNet: Bridging Deep Learning and Atmospheric Physics for Accurate and Continuous Weather Modeling
전문적인 forecasting 모델은 아니고 위와 같이 3가지 task를 할 수 있는 모델인 것 같았다. 그래서 다른 두 task에 대해서 이해는 잘 못했지만 ...그리고 loss function이 궁금해서 찾아봤던 논문이라 다른 부분을 제대로 읽어보지는 않음.+ 결과
17.On the Conversational Persuasiveness of Large Language Models: A Randomized Controlled Trial
주제에 대해 찬성/반대 입장을 무작위로 받고 토론일부 토론에서 GPT-4 가 토론자 중 한명으로 참여(인간-인간, 인간-AI, 정보 아는 인간-인간, 상대정보 아는 AI-인간)820명, 30개 주제 5개씩 대화 수집상대 정보 아는 AI 가 인간보다 토론에서 더 설득력이
18.Climate-invariant machine learning
How can we enhance ML algorithms with physical knowledge to make accurate predictions in climate conditions that – in standard variables – lie far out
19.Forecasting the Future with Future Technologies: Advancements in Large Meteorological Models
FCNPGFWFXCXGC에 대한 설명과 모델 architecture 가 설명되어있다.흥미로웠던 부분은 모델별로 정리해놓은 장점:FCN : 단기/중기 예측 특히 강수량과 같은 소규모 변수 예측 bPG : 다양한 대기 및 지표 기상 변수 예측, 중기에 초점FW : 중기에
20.FUXI-DA: A GENERALIZED DEEP LEARNING DATA ASSIMILATION FRAMEWORK FOR ASSIMILATING SATELLITE OBSERVATIONS
이 논문에서는 기존의 데이터 동화의 한계를 극복하고자 새로운 딥러닝(DL) 모델을 도입하여 위성 관측 데이터의 동화를 개선하는 방법을 제시했다.이 모델이 기존의 수치 날씨 예측 모델의 정확도를 뛰어넘는 결과를 보여줬다 해서 좀 자세히 살펴봤음..전통적인 날씨 예측 모델
21.Toward a Learnable Climate Model in the Artificial Intelligence Era
함유근 교수님께서 저자로 들어가신 논문우리가 하는 내용이 들어가있어서 읽어보았다.Limitations훈련 데이터에 포함되어 있지 않으면 학습 못함, 일반화 어려움블랙박스물리적 제약이 없으니까 AI에 의한 극단적인 기상 예측을 믿을 수 없음.Solutions물리식 도입물
22.UFNet: Joint U-Net and fully connected neural network to bias correct precipitation predictions from climate models
UFNet으로 기후 모델에서 나오는 강수 예측의 bias correction.E3SM (atmosphere, land, ocean, sea ice, river transport models)daily averaged surface level pressuregeopote
23.Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention
구글에서 발표한 무한대 context를 다룰 수 있는 Infini-attention.Transformer의 특징인 어텐션 구조를 새롭게 어찌저찌 해서 long context에서 효율적인 추론을 가능하게 했다. 기존에는 attention 때문에 메모리가 제한적이엇음 근데
24.The information bottleneck method
information bottleneck의 근본 논문 (1999)저의 최애 figure (이 논문 피겨는 아니지만...) 출처는 여기bottleneck이라고 하는게 실제 병의 목 부분이 좁아서 내용물의 어떤 흐름을 제한하는 것처럼 정보처리에서도 중요한 정보만을 선택적으
25.Short-term wind speed forecasting model based on an attention-gated recurrent neural network and error correction strategy
We introduce a model combining GRUs and an attention module for wind speed forecasting.전체 flow: SSA(특이 스펙트럼 분석)를 사용해서 시계열 데이터를 성분분해하고 노이즈 제거여기서 핵심 역학
26.Using Deep Learning to Identify Initial Error Sensitivity of ENSO Forecasts
Data & model architecture SST, SSH, TAUX의 월평균 1850~2014 데이터 해상도는 2도, 5도. U-Net 기본 컨볼루셔널 레이어랑 스킵 연결 사용 최종적으로 1x1 컨볼루션을 통해서 출력 크기 설정 Special 딥러닝을 통한 모
27.Data-driven building energy efficiency prediction using physics-informed neural networks
건물의 에너지 효율을 예측하기 위해 모델 제안주거 건물의 일반적인 건물 정보 + 측정된 난방 에너지 소비를 기반으로 에너지 성능을 추정에너지 성능 증명서(?) (EPC)를 자동화하고건물의 에너지 소비를 예측하여 건물 개선에너지 성능을 종합적으로 예측건물 구성 요소별 차
28.WeatherDepth: Curriculum Contrastive Learning for Self-Supervised Depth Estimation under Adverse Weather Conditions
총 3단계 구성: 초기 단계에서는 간단한 날씨 조건으로 시작하여 마지막 단계에서는 폭우나 폭설같은 심한 날씨 조건으로 진행된다. 각 단계에서 laug(날씨 조건이 적용된 이미지, 실제 데이터)&lcst(비교 대상이 되는 다른 날씨 조건의 이미지) 두가지 유형의 이미지
29.Efficient Deterministic Renewable Energy Forecasting Guided by Multiple-Location Weather Data
최소/최대/체감/실제 온도, 대기압, 습도, 흐림 정도, 풍향, 풍속 등호주/그리스 의 여러 지역 & 태양광 및 풍력 발전소 위치UTCAE(U-shaped Temporal Convolutional Auto-Encoder)랑 MKST-Attention 포함하는 모델 구조
30.Photovoltaic Power Forecast Using Deep Learning Techniques with Hyperparameters Based on Bayesian Optimization: A Case Study in the Galapagos Islands
갈라파고스 섬에서 태양광으로 쓰이는 발전량이 나와있고 (5308.27MW) 전체 발전량중에서 태양광이 얼마나(60.77%) 쓰이고 있는지지역별 Irradiance 총량내 피겨에도 다른 area랑 비교해서 일사량이 적은지/많은지 비교하는 피겨사용한 모델LSTMLSTMPB
31.Solar Energy Forecasting Using Deep Learning Techniques
인트로에 Distributed Energy Resources (DER) 필요성의 강조사용된 데이터셋2006-2015Parishourlytraining 은 9년 11개월, test는 마지막 1개월에 대해서(시계열로 <<나랑 다름)사용한 모델Baseline re
32.The Application of Deep Learning Techniques for Solar Power Forecasting
신기한 Reference: 나중에 자세히 읽어봐야겠다.The solar irradiation forecasting will be investigated andevaluated in this dissertation Solar energy is expected to rea
33.Solar Power Forecasting using Machine Learning Approaches : A Review
리뷰 논문이라 참고할만한 피겨는 없었는데 논문이랑 포스터에 추가할 수 있는 여러 내용들이 떠오름Ldaps에 대한 소개Physical approach마지막에 예측할때 확률적으로 예측하도록그리고 여기에 나오는 것들은 다 시계열 예측이라 역시 나의 논문과 정확하게 겹치는 내
34.Shining a Light on Solar Power Forecasting: Machine Learning Techniques for Unprecedented Accuracy
발전량 데이터셋 형태는 있는데 사용한 날씨 변수에 대한 설명이 왜 없는거지......그냥 이정도로만 적혀있다.Data collection: The first thing that has to be doneis to gather some historical data on
35.Forecasting the Wind and Solar Power using Deep Learning based techniques
24시간 들어오면 다음 7시간을 예측하는 모델사용한 데이터:3년치 날씨 (solar, wind) 데이터, 3년치 전력수요 데이터( 1494 buses and 2156 lines) , 태양, 풍력 발전량 데이터.비교한 모델 LSTM, FFNN(LSTM이 더 좋았음)비슷하
36.EWMoE - An Effective Model for Global Weather Forecasting with Mixture-of-Experts
중국 电子神技大学랑 스촨 AI 리서치 기관에서 쓴 논문사용한 데이터는 ERA5 이고 2015, 2016을 학습으로 사용하고 2017을 검증, 2018을 테스트에 사용.학습 데이터 기간이 짧은데 계산 자원 절약 하기 위해서 (2년치 학습을 2개 3090으로 9일동안 학습
37.Decomposing Weather Forecasting into Advection and Convection with Neural Networks
convection 과 advection 을 위한 GAT & MLP grid-to-node encoder : 그리드 데이터를 그래프 구조로 바꿈GAT-MLP Model : 2 layer GAT for advection, 4 layer MLP for convection.
38.BubbleID: A Deep Learning Framework for Bubble Interface Dynamics Analysis
끓는 이미지를 통해서 버블의 위치, 크기, 모양, 속도 등 정적/동적 속성을 식별하는 모델.끓는걸 왜 연구하는지 찾아봣는데 ... 열 관리 성능을 향상시키기 위해서? 라고 합니다 나도 잘 모르겠음...암튼 그래서 버블을 추적하면 전체적인 열 전달 성능을 이해할 수 있게
39.Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet
논문은 아니고 Anthropic 에서 쓴 글.LLM을 제어/조정하기 위해서 feature 별로 분해하여 진행한 실험.특히 안전과 관련될 수 있어서 의미가 있다고 얘기한다. 요즘 OpenAI에서도 Safety 관련 문제가 여러개 터졌어서 좋은 타이밍에 읽어볼만한 것 같다
40.Physics-informed neural networks for the shallow-water equations on the sphere
Shallow Water Equation 을 해결하기 위해 PINNs 활용하였다. 사용한 데이터는 어떤 시뮬레이션 된 결과 -> 이 equation 풀기서브 모델이 특정 물리적 문제를 개별적으로 다룬다.PINNs를 어떻게 썻나 보니까 얘네도 loss function에
41.CLLMate: A Multimodal LLM for Weather and Climate Events Forecasting
홍콩과기대 사람들 사용한 데이터는 기상 래스터 데이터 spatio-temporal data, including raster dataand event, and knowledge graph for the WCEF task. ERA5쓰는 듯멀티모델 LLM을 통해 기후 데이터
42.Chain-of-Thought Reasoning without Prompting
LLM 은 재밋다
43.HOW FAR ARE TODAY’S TIME-SERIES MODELS FROM REAL-WORLD WEATHER FORECASTING APPLICATIONS?
Lei Bai 님이 또 들어가계신다... 도대체 논문을 얼마나 쓰시는거지암튼 새로운 내용임현재는 NWP data driven model을 쓰고 있었는데, 여기서는 시계열 모델로 해보면 어때? 를 제시하고 있음.주요 work는 데이터셋 WEATHER-5K가 있고TSF 모
44.Compressing high-resolution data through latent representation encoding for downscaling large-scale AI weather forecast model
VAE를 이용하여 데이터 압축시켰는데도 원본 데이터랑 거의 비슷한 결과가 나옴fuxi 모델의 저해상도 25km (0.5도) 예측 -> 고해상도로 변환 할 때 u-net사용. 여기서 사용한 정답값은 HRCLDAS 데이터셋 (1km)로 사용unet이 저해상도 fuxi 예측
45.Generalizing Weather Forecast to Fine-grained Temporal Scales via Physics-AI Hybrid Modeling
PINN 관련 읽고싶어서... 읽어봤다또 상하이 AI 랩.. 나도 가고싶다...PPT에 글넣는거 싫어하는 사람으로써...따로 적어봅니다.여기서 한 건 크게 두가지. 1.PDE 넣음(LF가 아닌 모델 자체에) 2. 더 fine 한 간격의 예측. (15분)인데15분 예측은
46.Solar power forecasting using domain knowledge
최근(?) 에 나온 태양광 논문 살펴봄. 피겨 어케 그렸는지 보고싶어서...제목이 흥미로워서 봤는데태양광 패널의 물리적 특성 (셀의 수, 작동 온도, 재료?, 주변 온도) 를 추가했는데 좋다... 이런 것 같은데이것들을 수식을 통해 구할 수 있다는 것 같음.?그냥 fe
47.Solar power generation forecasting using ensemble approach based on deep learning and statistical methods
글씨체가 맘에듬 ()근데 이런 딥러닝 모델들은 일단 실제 예측이 불가능 하니까 쓰는거잖아요 모델값이 없으니까? 근데 모델값을 쓰니까 더 잘나왔다 이런 논문이 없어...이걸 좀 강조하고 싶습니다만.그리고 이 논문에서 탐나는 것이것!nMAE의 역수를 이용해서 가중치를 계산
48.FengWu-W2S: A deep learning model for seamless weather-to- subseasonal forecast of global atmosphere
해양 대기 육지 다합햇음fengwu랑 동일하게 멀티 모달 구조(각 변수를 독립적으로 인코딩)바람/압력 같이 온도/강수/해면온도 같이 인코딩 << 이런식정보 추출 << 여기가 뭔가 다른 것 같음 펑우는 모든 표면 변수 특징을 한꺼번에 추출하는데 얘는
49.Designing a Revenue Forecast Scheme for Analog EnsembleMethod Applied Solar PV Forecasting in South Korea
여러 태양광 논문 읽는 중근데 LDAPS 사용하고 내가 같은 전력 정산 방법 사용해서 도움이 많이 됐다. 근데 이제 내가 쓰는 method는 아니고 AnEn 이라는 아날로그 앙상블 방법을 이용하는데 과거에 비슷한 시나리오가 있으면 그 값 갖다가 쓰는 방법인 것 같다.