Growth monitoring of greenhouse lettuce based on a convolutional neural network

Lucia·2023년 7월 24일
AgTech논문리뷰
0

Article.log

목록 보기
3/4

논문링크: Growth monitoring of greenhouse lettuce based on a convolutional neural network

이번 논문은 간단한 CNN 모델로 상추의 성장을 예측하는 연구를 설명합니다.
AgTech에서 CNN이 어떻게 사용될 수 있는지 생각해볼 수 있는 논문이었습니다.
Abstract부터 차근차근 논문의 흐름대로 정리해보겠습니다!

Abstract

  • 디지털 영상과 CNN을 이용하여 온실 상추의 성장을 모니터링하는 방법을 제안한다.
  • CNN 모델은 상추 이미지를 입력으로 받아 해당 성장 관련한 특성을 학습한다.
    • 성장 특성: LFW(leaf fresh weight), LDW(leaf dry weight), LA(leaf area)
  • 결과: 연구에서 채택한 다른 비교 방법보다 좋은 성과를 냈다.
    • R2R^2: 각각 0.8938(LFW), 0.8910(LDW), 0.9156(LA)
    • NRMSE: 26.00%, 22.07%, 19.94%
  • 상추의 종은 플랑드리아(Flandira), 티베리우스(Tiberius), 로카르노(Locarno)를 사용했다.
    • 로카르노보다 플랑드리아와 티베리우스를 더 잘 추정하였다.
  • 일반화 실험: 다른 시즌에 자란 티베리우스 종을 사용하였다.
    • 일반화 실험에서의 결과도 우수한 성능을 보였다.
    • R2R^2: 각각 0.9277, 0.9126, 0.9251
    • NRMSE: 22.96%, 32.29%, 26.60%

⇒ 디지털 이미지를 가진 CNN은 온실 상추의 성장을 모니터링하는 강력한 도구다.

1. Introduction

  • 성장 특성을 추정하기 위한 컴퓨터 비전 기반 방법이 두 가지 문제
    1. Noise에 민감하다.
      불균일한 조명과 어수선한 배경으로 인해 노이즈가 불가피하며, 이는 이미지 분할 및 특징 추출에 영향을 줘 정확도가 떨어질 수 있다.
    2. 수동으로 설계된 이미지 기능에 크게 의존하며, 계산 복잡성이 크다.
      +저수준 이미지에서 추출된 특징은 일반화 능력이 떨어진다.
      ⇒ 좀 더 실현 가능하고 강력한 접근법을 모색해야 한다.
  • CNN
    • 광점위한 농업 응용 분야에서 사용되어 왔다.
      • 예) 잡초 및 작물 인식, 식물 질병 진단, 식물 장기 감지 및 계수 등
    • 그러나 회귀 응용 프로그램에 거의 적용되지 않았으며, CNN이 온실 상추의 성장 특성 추정에 어떻게 사용되었는지에 대한 보고서는 거의 없다.
      ⇒ 디지털 이미지를 기반으로 온실 상추의 성장 모니터링을 위한 추정 모델(CNN)을 구성한다.
      ⇒ 그 결과를 성장 특성을 추정하기 위해 널리 채택된 기존 방법과 비교한다.
  • 연구의 목적
    • CNN의 사용: 온실 상추의 RGB 이미지와 해당 성장 특성(LFW, LDW, LA) 사이의 관계를 모델링
    • CNN을 통해 온실 상추의 전체 생육 과정의 성장 특성을 추정하고, 실현 가능하고 강력한 성장 모니터링 방법을 제안한다.

2. Material and methods

2.1. Greenhouse lettuce image collection and preprocessing


Figure 1: 900 X 900으로 crop된 세 품종의 이미지 (최종적으로 사용된 디지털 이미지의 예시)

  • 실험 환경
    • 날짜: 2019.04.22 ~ 2019.06.01
    • 장소: 중국 베이징 중국농업과학원(N39°57', E116°19') 농업환경지속가능발전연구소 실험 온실
    • 종류: 플랑드리아(Flandria), 티베리우스(Tiberius), 로카르노(Locarno)
    • 세팅: 각 상추 재배종이 2개의 선반에 심어져 총 6개 선반 세팅, 각 선반의 크기는 3.48 X 0.6m
    • 주간/야간 온도: 29/24°C
    • 평균 상대 습도: 58%
    • 조명은 자연광, 영양 용액 하루 두 번 순환
  • 데이터 수집: 디지털 이미지, depth 이미지
    • 품종별 식물 수: 각 96개 씩, 순차적으로 라벨링 됨
      • 플랑드리아 96개, 티베리우스 94개(2개의 식물이 생존하지 못함), 로카르노 96개로 총 286개
    • 이미지 수집
      • Kinect 2.0 깊이 센서 사용, 지면에서 78cm 떨어진 삼각대에 장착
      • 디지털 이미지와 깊이 이미지 수집을 위해 상추 덮개(? 캐노피) 위에 수직으로 아래를 향하도록 방향을 잡음
      • 픽셀 해상도: 디지털 이미지 1920 X 1080(JPG), 깊이 이미지 512 X 424(PNG)
      • 오전 9시부터 오전 12시 사이에 옮겨심은 후 1주일 동안 7회 수행
      • 최종적으로 두 개의 데이터 세트: 286개의 디지털 이미지 세트, 286개의 깊이 이미지 데이터 세트
  • 데이터 전처리
    • 이미지 크기: 배경 픽셀이 너무 많아서 900 X 900로 자름
    • train set / test set
      • 8:2 비율로 나눔
      • 두 세트 모두 세 가지 품종과 표본 추출 간격(sampling intervals)을 포함
      • validation set: 전체 이미지의 20%가 무작위로 선택되었다.
      • train set: 229장, validation set: 57장, test set: 57장
    • data augmentation
      • 이미지 회전(90°, 180°, 270°), 수평 및 수직으로 뒤집은 사진 사용
      • 온실의 변화하는 조명에 적응시키기 위해 HSV color space로 변환하고 V 채널을 변경하여 영상의 밝기 조절, 영상의 밝기를 원본의 0.8배, 0.9배, 1.1배, 1.2배로 조정
      • train set: 총 26배로 확장하여 5954장의 디지털 이미지 생성


Figure 2

  • LFW, LDW, LA 측정
    • 영상 수집과 동시에 수행됨
    • 7일 간격으로 수행(2019년 4월 29일, 5월 6일, 5월 13일, 5월 20일, 5월 27일, 5월 31일 및 6월 1일)
    • 첫 6번의 측정에서 각 품종의 10개를 무작위로 수확하였고, 마지막 측정은 남은 상추를 모두 수확하였다.
    • destructive sampling: 뿌리 제거 후 시료를 0.01g의 정밀도로 저울 위에 놓고 LFW 측정, 해당 샘플의 LA는 LA미터로 얻음
      LI-3100 AREA METER
      LDW: 표본을 봉투에 밀봉하고 80도에서 72시간 동안 오븐 건조한 후 표본 무게 측정

2.3. Construction of the CNN


Figure 3.

  • 5개의 컨볼루션 레이어, 4개의 풀링 레이어, 1개의 FC 레이어 사용
  • 입력: 128 X 128 X 3
  • Conv layer
    • 5 X 5
    • 커널 수: 32, 64, 128, 512개
    • feature map의 크기를 정수로 유지하기 위해 2, 3번째 conv 레이어에 제로 패딩 사용
  • Pooling layer
    • 2 X 2, stride = 2
    • average pooling 사용
  • FC layer
    • 모델의 세 가지 출력(LFW, LDW, LA)에 해당하는 세 가지 뉴런을 사용하여 세 가지 성장 관련 특성을 동시에 추정한다.
    • dropout: 0.5
  • stochastic gradient descent, initial learning rate = 0.001, 20 epochs 마다 0.1 drop factor 떨어짐, mini-batch size = 128, maximum number of epochs = 300

2.4. Performance evaluation


Figure 4.

  • 비교 모델: SVR, RF
  • 데이터: 상추와 배경 색의 대비가 뚜렷하기 때문에 색 임계값을 이용하여 배경 화소 제거
  • 디지털 이미지에서 Features 추출
    • 세 품종의 특성에 따라 색상, 질감, 형상 등 낮은 수준의 영상 features 추출함
    • 색상: 5가지 color space에서(RGB, HSV, CIELab, YCbCr, HSI) 15가지 색상 성분의 평균 및 표준 편차 사용
    • 질감: 색상 성분을 기반으로 gray level co-occurence matrix로 추출, 15가지 색상 구성 요소의 대비, 상관관계, 에너지 및 동질성
    • 형상: 면적과 둘레, 영역은 윤곽선으로 둘러싸인 영역, 둘레는 풀잎 윤곽선의 총 길이
    • features 추출 후 피어슨 계수를 이용하여 추출된 features와 온실 상추의 LFW, LDW, LA의 실제 값과의 상관관계 분석
    • 비교적 높은 상관 값을 가진 기능은 얕은 기계 학습 분류기를 구축하는데 사용되었다.


Figure 5.


Figure 6.

  • 깊이 이미지에서 Features 추출

    • H(높이), PA(투영 면적), V(digital volume)(부피)
    • 세 가지 LR 모델 추가적으로 비교에 사용(LR-H, LR-PA, LR-V)
    • 깊이 이미지의 superpixel segmentation 사용 (Figure 5. 참고)
    • H, PA, V 계산 (Figure 6. 참고)
      • 깊이 이미지의 픽셀 값은 센서에서 물체까지의 실제 거리이기 때문에 깊이 정보를 반영한다.
      • PA: 따라서 상추 영역의 픽셀 수를 세어 PA를 얻을 수 있다.
      • H: 상추 영역 픽셀의 H를 평균하여 구함 (78cm에서 상추 영역 픽셀을 빼서 H를 구할 수 있음)
      • V: PA X H

  • 성능 평가 기준: R2R^2, NRMSE

    • R2R^2
      • 회귀모델에서 독립변수가 종속변수를 얼마만큼 설명해주는지 가리키는 지표
      • 결정계수가 높을 수록 독립변수가 종속변수를 많이 설명한다는 뜻
      • R2=SSESST=1−SSRSSTR^2 = \frac{SSE}{SST} = 1-\frac{SSR}{SST}
        • SST(Total Sum of Squares): 관측값에서 관측값의 평균(혹은 추정치의 평균)을 뺀 결과의 총합
        • SSE(Explained Sum of Suares): 추정값에서 관측값의 평균(혹은 추정치의 평균)을 뺀 결과의 총합
        • SSR(Residual Sum of Squares): 관측값에서 추정값을 뺀 값, 즉 잔차의 총합
      • 분야와 연구자의 판단에 따라 차이가 있기 때문에 몇 % 이상이어야 실질적으로 유용하다고 말하기는 어렵다.
      • 단점: 독립변수의 수가 증가하면 상승한다. 종속변수를 잘 설명하지 못하는 변수가 추가되어도 증가하기 때문에 결정계수만 가지고 회귀 모델의 유용성을 판단하는 것은 문제가 있다.
      • 추가 설명 링크
        블로그 1
        나무위키
    • NRMSE(normalized root mean squared error)
      • NRMSE=RMSEmax⁡(yi)−min⁡(yi)NRMSE = \frac {RMSE}{\max(y_i)-\min(y_i)}
      • RMSE=∑(xi−x)2NRMSE = \frac {\sqrt{\sum(x_i-x)^2}}{N}
      • 100을 곱하여 %로 표기할 수 있음

3. Results

  • 개발 환경
    • MATLAB 2018b(MathWorks Inc., USA)를 사용하여 추정 모델 구성 및 이미지 전처리를 구현
    • 소프트웨어 환경은 윈도우 10 프로페셔널 에디션, 하드웨어 환경은 인텔 i7 프로세서, CPU 3.20GHz, 8GB 메모리, GPU는 엔비디아 지포스 GTX1060

3.1. Estimation results of the CNN model


Figure 7.

  • test set 전체에서 CNN 성능 (Figure 7. 참고)
    • LA 추정에서 가장 높은 R^2, 가장 낮은 NRMSE 달성 (R^2 = 0.9156, NRMSE = 19.94%)
    • LFW, LDW는 비슷한 정도 (R2 값이 각각 0.8983과 0.8910, NRMSE 값이 각각 26.00%와 22.07%)
  • 품종 별 CNN 성능 (Figure 8, Table 1. 참고)
    • 플랑드리아, 티베리우스를 로카르노보다 더 잘 추정하였다. 플랑드리아와 티베리우스는 잎이 비교적 길게 뻗은 평평한 형태인 반면, 로카르노는 곱슬곱슬한 잎이 고르지 않은 형태이다. 그렇기 때문에 CNN모델은 플랑드리아와 티베리우스의 특징을 추출할 때 보다 포괄적인 정보를 얻을 수 있다.


Figure 8.


Table 1.

3.2. Comparison of the results with the convolutional estimation methods


Table 2.


Table 3.


Table 4.

  • Table 2 ~ 4: LFW, LDW, LA 추정 classifier를 구축하기 위해 선택한 features
    • 세 가지 성장 특성을 포함하는 매개 변수 쌍 간의 상관 분석을 수행
    • 성장 특성의 실제 값과 높은 상관관계가 있는 feature들을 분류기를 구축하는데 사용함
  • SVR, RF 모델 (Figure 9. 참고)
    • 선택된 features를 기반으로 SVR, RF 모델 구성
    • LFW에서의 성능 비교: SVR > RF
    • LDW, LA에서의 성능: RF > SVR


Figure 9.

  • CNN과 SVR, RF 비교 (Table 5. 참고)
    • LDW에서의 성능 비교: SVR과 RF의 R^2 값은 CNN과 비슷했지만, NRMSE의 값은 약 3.5% 더 높았다.
    • LFW에서의 성능 비교: R^2와 NRMSE를 종합적으로 고려할 때, CNN 모델이 RF보다 더 나은 성능을 보였다.
    • 결론: CNN 모델은 더 높은 R^2, 더 낮은 NRMSE 값을 가져, 세 가지 성장 특성 모두 추정하는데 있어 두 분류기(SVR, RF)보다 성능이 우수하다.


Table 5.

  • 결과에 대해 가능한 설명
    • SVR, RF는 상추의 이미지 분할에 기초하여 추출될 수 있는 디지털 이미지의 낮은 수준의 특징에 기초했다.
    • 이 방법은 분균일한 외부 조명 및 기타 요인으로 인해 신뢰할 수 없으며, 잠재적으로 낮은 정확도의 이미지 분할을 초래하여 features 추출의 정확도를 저하시킬 수 있다.
    • 또한 낮은 수준의 영상 features을 인위적으로 설계하여 SVR, RF 모델의 일반화 능력이 떨어지는 것을 알 수 있었다.
    • 따라서 온실 상추의 성장 특성에 대한 추정 정확도는 CNN 모델보다 더 나빴다.
  • LR-V, LR-PA, LR-H 모델의 결과 (Figure 10. 참고)
    • 세 성장 특성에 대한 성능 결과: LR-V, LR-PA > LR-H
      • 특히 H를 예측변수로 사용한 LR-H 모델이 가장 낮은 성능을 보였다.
    • 기존 연구에서 V, PA가 농작물의 성장 특성과 비교적 강한 상관관계를 갖고 있다는 것이 나타나있기 때문에 이러한 결과는 예상가능하다.
    • 세 개의 LR 모델 모두 CNN 모델보다 낮은 성능을 보인다.
    • 깊이 이미지에서 도출된 구조적 특정은 기하학적이어서 온실 상추의 색상이나 질감 정보를 포함하지 않는다. → 상추의 성장이 기하학적 특징뿐만 아니라 색상과 질감 특징과도 관련이 있다는 사실로 설명될 수 있다.


Figure 10.

3.3. Generalization test results


Figure 11.

  • 데이터
    • 다른 계절(season 2)에 심어진 티베리우스 이미지를 CNN 모델에 사용했다.
    • “Greenhouse lettuce image collection and preprocessing(2.1.)”에서와 동일한 실험 설계를 채택하여 200개의 이미지와 해당 성장 특성을 포함하는 데이터 셋을 구성함
  • 결과 (Figure 11. 참고)
    • 세 특성에 대한 결과 모두 잘 일치한다. (R^2 값이 각각 0.9277, 0.9126, 0.9251, NRMSE 값은 각각 22.96%, 37.92%, 27.60%)
    • 온실의 온도와 습도는 계절에 따라 변했는데, 이게 상추의 성장을 변화시켰다. → 오히려 제안된 추정 방법(CNN)이 우수한 견고성을 달성하고, 온실 상추의 성장을 모니터링하기 위한 신뢰할 수 있는 도구를 만들었다는 것을 입증했다.

4. Discussion

  • 연구의 결과
    • CNN이 온실 상추의 성장 특성을 얻기 위한 편리하고 정확한 도구 역할을 할 수 있다.
    • 추정 결과값이 R^2가 항상 0.89 이상, NRMSE이 항상 27% 미만이다.
    • 강력한 일반화 능력으로 변환될 수 있다.

4.1. Limitations and future work

  • 제한 사항 존재
    1. 영상이 상단 뷰에서만 획득되었다. 잎 사이에 중복되는 부분이 너무 많으면 오류가 증가할 수 있다.
    2. H가 고정되었다. H가 변경되면 추정 결과가 편향될 수 있다.
  • 향후 연구 과제
    • 다른 상추 품종을 사용하여 이미지 계속 수집할 것
    • 여러 상추의 성장 특성을 단일 이미지로 탐구할 것
    • H와 같은 CNN 모델의 성능에 영향을 미칠 수 있는 요인 탐구할 것

4.2. Prospective

  • 성장 모니터링은 온실 상추의 상태를 나타낼 수 있는데, 이는 현장 관리에서 온실 환경을 통제하고 영양 전략을 수립하는데 중요하다.
  • 제안된 추정 방법을 통해 저비용이면서 사용이 용이한 디지털 영상을 이용해 온실 상추의 여러 품종에 대한 LFW, LDW, LA를 추정할 수 있다.
  • 이 방법은 저렴한 디지털 카메라로 입력 영상을 포착할 수 있어 모바일 기기와 결합하거나 다른 자동 플랫폼과 통합할 때 현장에서 활용될 가능성이 크다.

5. Conclusions

  • 본 연구에서는 성장 모니터링을 지원할 수 있는 디지털 영상과 CNN을 이용하여 온실 상추의 여러 품종의 성장 특성을 추정하는 방법을 제안했다.
  • 추정된 성장 특성은 R^2 값이 ~0.9, NRMSE 값이 ~20%로 실제 측정치와 잘 일치했다. 또한 제안된 방법의 성능은 기존 방법보다 우수했다.
  • 제안된 방법이 로카르노보다 플랑드리아와 티베리우스 품종에 더 나은 성능을 달성했음을 보여준다.
  • 검증을 위해 season 2에 심어진 티베리우스 재배종에 대해 추정했을 때도, 제안된 방법이 계절적 요인에도 불구하고 강력한 성능을 가짐을 확인했다.
  • 제안된 방법은 온실 상추의 성장 특성을 추정할 수 있는 신뢰할 수 있는 도구이며, 성장 모니터링 적용 가능성이 우수하다는 결론을 내릴 수 있다.
  • 성장 특성에 대한 정확한 모니터링은 과학적 경영 의사 결정을 지원할 수 있다.

Computer Vision 분야가 농업에서 어떻게 사용될 수 있는지 생각해볼 수 있는 논문이었습니다.
그러나 R^2값이 저정도이면 실제 필드에서는 얼마나 유의미한지 가늠이 안되어 어려운 부분도 있었어요.
그래도 인공지능이 활동할 수 있는 가능성을 살펴볼 수 있어서 좋았습니다.
논문의 난이도는 높지 않아서, 원문도 한 번 읽어보시는 걸 추천드립니다.

혹시 해석과 내용에 틀린 점이 있다면 댓글로 남겨주세요!
읽어주셔서 감사합니다. 😊

profile
Lucia
Data Scientist
이전 포스트

VGG

다음 포스트

Transformer

0개의 댓글