💡작물 시가 예측 모델

💡
프로젝트 개발 일지를 쓰려다가 귀찮아서 모델 학습 일지만 쓰겠습니다.
용사하소서.
사진 출처는 GPT이올시다.

프로젝트 개요

제목: 소담터(SoDamTeo)
소담하다라는 말은 생김새가 탐스럽다, 음식이 풍족하여 먹음직스럽다라는 의미를 가진 순우리말이다.
스마트팜 시스템을 구축하여 농장을 모니터링하고 관리를 자동화하는 것을 목표로 한다.

동기
농촌진흥청의 농사로에서 추진하는 스마트팜은 지원하는 작물이 일부 과일, 꽃, 버섯으로 한정적이며 전국으로 크게 확대된 사업이 아니다.
AI 기능을 활용한다고 하지만 적절한 환경 제공을 위한 용도로, 굳이 AI가 아닌 빅데이터 분석만으로 충분히 수행 가능한 일이다.

작물 시가 예측
작물 시가를 예측함으로써 주 고객층인 농부들은 작물의 판매 시기를 결정함에 따라 수확 시기 또한 결정할 수 있다. 또한 수확 이후에는 빈 땅을 가꾸며 내년 작물 재배 계획을 수립할 수 있다. 내년에 심을 모종을 정하고 계획을 세우는 것은 다음 일 년의 총 계획을 수립하는 것이고, 농부의 1년의 생활이 좌우되는 문제이기 때문에 해당 모델의 중요성이 더욱 강조될 것으로 기대한다.
농작물 시장의 시가 예측으로 정책을 수립하거나 계획을 세우는 의사 결정자들에게 또한 도움이 되기를 바라며~ 출처는 반드시 남겨주세요. ㅎㅅㅎ
사실 일부 시가 예측 모델을 학습한 일부 사이트를 본 적이 있는데(지금은 어디인지 기억 안 남) 단순히 과거 차트를 기반으로 미래를 예측하는 패턴 분석에 가까운 형태였으며, 여러 모델들을 학습시켜 voting의 형태로 다음 달은 오를 것인지 떨어질 것인지만 예측할 수 있는 수준이었다.
스마트팜 시스템 구축을 위해 모니터링 및 자동화 기능을 구현하였고, 작물에게 최적의 환경을 제공하기 위한 필수적인 기능들이지만 보편적으로 스마트팜 시스템 내에 많이 구현되어 있는 내용들이기 때문에 생략하고 작물 시가 예측 모델을 중점적으로 설명할 것이다! 나머지 구현 내용이 궁금하다면 아래 GitHub 링크로 접속하세요~ (README 없음 ㅎㅎ 추후 쓸게염)

링크
🖱️GitHub

작물 시가 예측 모델

데이터 분석

작물 시가 예측을 위해서 시가에 영향을 주는 요인이 무엇인지 알아야 한다.

작년(2023년)에 사과 가격이 폭등했던 일이 기억 나는가? 본 글의 프로젝트와 관련이 있을 듯하여 기사를 검색해본 결과, 작년에 발생한 이상 기후로 인해 기온이 급락했고, 이로 인해 사과 재배가 원활하지 못해 가격이 금값이 되었다고 한다.
그렇다면 수입은? 사과와 같은 신선 식품을 수입하기 위해서는 그 절차가 까다롭다고 한다. 신선도 또한 관건이겠지만, 병충해 등 다른 위험 또한 존재하여 절차가 길어질 뿐만 아니라 결과적으로 덜 신선한 과일을 더 비싼 값으로 소비해야 한다.
따라서 첫 번째 결론은 수요가 동일하다는 가정 하에 작물이 자라는 날씨에 따라 생산량 즉, 공급이 결정되고, 이로 인해 가격이 좌우된다는 것이다.

이때 한국은 4계절이 뚜렷한 기후라는 것을 알아야 한다. 봄에는 나물, 여름에는 수박, 가을에는 김장으로 인한 배추, 겨울에는 귤이 가장 인기 있는 과일인 것처럼 계절마다의 제철 음식에 따라 소비자들의 수요 또한 달라진다.
이때 내가 내린 두 번째 결론은 가정에 더 가까운데, 과거 12개월의 데이터로 미래 3개월을 예측하는 것이다. 여기에는 두 가지 의미가 있다. 첫 번째는 한 절기에 해당하는 3개월의 시가를 예측하기 위해 지난 1년 간 즉, 가장 최근 사계절 동안의 날씨 변화를 사용하겠다는 것이다. 두 번째는 과거의 가격 데이터 또한 반복되는 사계절 속에서 가장 최신의 소비자의 트랜드를 반영하겠다는 것이다.

데이터 수집 및 전처리

과거 날씨 데이터는 기상청 데이터에 있을 것 같다고 예상한 대로 기상청 기상자료개방포털에서 수집할 수 있다. 날씨라고 하면 범위가 넓기 때문에 링크를 들어가면 접속되는 다중지점통계에서 수집할 수 있는 데이터를 수집하였다.
feature로는 기온, 강수량, 기압, 상대습도, 풍속, 일조량(단위 면적 당 태양 에너지)을 수집하였고, 기간은 1996년 1월부터 2024년 6월까지 월 평균 데이터를 수집했다. 가공 후 최종 형태는 아래와 같다.

월 평균 날씨 정보 이때 각 feature의 값을 보면 알 수 있듯이 그 범위가 제각각이기에 범위와 분포를 일정하게 맞춰주고자 정규화를 적용하려고 했다. 하지만 아래 설명할 시계열 예측 모델의 라이브러리에 이미 전처리 과정을 포함하고 있어 별도의 scaling이 필요하지 않다고 하여 이 단계에서 수행하지 않았다.

다음으로 target 데이터를 수집하기 위해 작물의 시가를 조회할 수 있는 사이트를 찾기 시작했다. 이때 스마트팜의 사용자 즉, 시가 예측 모델의 주 고객층은 소비자가 아니라 농부이기 때문에 소매가가 아닌 중도매가, 직거래 가격에 대한 데이터가 필요했다. 한국농수산식품유통공사 aT에서 2003년 4월에 농수산물 유통정보 KAMIS를 설립하였고, 1996년부터 2024년 6월까지의 쌀 20kg 기준 월별 중도매가 데이터를 수집할 수 있었다.
본 프로젝트에서는 대표적인 상품 작물인 벼를 기준을 데이터를 수집했지만, 다양한 작물, 과일 등의 시가 데이터 또한 수집할 수 있다. 추가로 도매, 소매 가격 뿐만 아니라 동향 정보, 유통 실태 등에 대한 가격도 알 수 있다.

쌀 20kg 기준 월 평균 시가 정보

결과적으로 총 342개의 데이터를 수집하였다.

모델 선정

모델은 NeuralForecast 라이브러리에서 가장 쉽게 접근할 수 있는 NHITS 모델을 사용했다. NBITS 모델의 다변량 버전이며, 모델 선정의 기준은 사용법이 가장 간단한 것이었기 때문에 추후 NHITS에 대해서 공부해봐야겠다.

결과

342개의 데이터는 많은 양이 아니기 때문에 1996년부터 2023년까지의 데이터를 전부 학습과 검증에 사용하였다. 2024년 1월부터 6월 데이터까지만을 테스트 데이터로 사용한 결과, 아래와 같다.

1996년에서 1998년 사이에는 수집된 데이터가 적기 때문에 Forecast 선이 위치를 못 찾는 것처럼 보이지만 2000년 이후부터 2024년 이후의 테스트 기간까지 정답과 거의 비슷한 추세를 보이는 것을 알 수 있다. 실제로 1000원 미만의 가격 차이밖에 보이지 않았고, 테스트 기간만 확인하면 아래와 같다.

그림에서 알 수 있듯이 테스트 기간 내 500원 이내의 차이밖에 보이지 않았다.

추가로, 프로젝트를 7월에서 8월까지 진행하는 동안 7월과 8월의 시가 데이터가 업데이트 됐다.
6월에 예측한 7월과 8월의 값은 각각 49,740원, 49,684원이었는데, 실제 값은 각각 49,450원, 49,128원이다. 분석 결과 오차 범위가 유효한 범위 내에 존재한다고 판단하였고, 성공적인 프로젝트라고 결론 지을 수 있었다.

💡
추후 NHITS 모델을 분석하고 학습 결과를 line plot이 아닌 수치형으로 출력하여 실제 정확한 오차값을 구해보기로 한다.