Real-time monitoring of cadaveric insects using deep learning

지난 10월, 2022 한국생태학회에 포스터 발표를 했어요!

기존에 공부하던 법곤충학에 딥러닝을 접목하여 도메인 분야의 효율성을 올리기 위해

배우자마자 계획하고, 바로 달려든 프로젝트인데요.

포스터 제목은 "딥러닝을 이용한 사체곤충의 실시간 모니터링"입니다!

놀랄 수 있으니 모자이크 추가..

대충 리뷰하자면,

동물 사체에는 많은 시식성 곤충들이 접근하며,

특히 파리는 사체에 산란하고 구더기가 영양분으로 활용하는 대표적인 사체상주성 곤충입니다.

이러한 사체로의 파리의 접근 양상 추적은 과학수사와 한시적 영양자원을 사용하는 곤충을 이해하는데 도움이 될 것으로 기대됩니다.

파리와 같은 빠른 비행성 곤충의 개체수 관찰은 육안으로 하기에 어려운 문제들이 있으며,

채집은 상당한 인력과 투자가 필요합니다.

인공지능 분야의 컴퓨터 비전과 딥러닝 기술을 사용하여 이미지 분석을 함으로써

탐지, 식별할 수 있는 카메라 모니터링 시스템을 제안합니다.

돼지 사체에 붙는 파리들을 딥러닝 모델이 검출하고 있다.

사용한 모델은 YOLOv5이다.

컴퓨터 비전에서의 분야는 무궁무진하고,

그 중에서도 인기있는 분야들이 있지만

(object detection, segmentation, classification)

그 내용에 대해서는 나중에 다시 포스팅하겠습니다!

돼지 사체에 붙은 파리를 추적하고, 개체수를 세기 위해

컴퓨터 비전 기술인 object detection을 사용해봤는데요,

Detection을 하기 위한 train dataset을 만들어야 해서

약 300여장의 이미지에서 2만여 마리의 파리에 대해 직접 라벨링을 했어요...

Object detection이 완전 처음이라

시작부터 끝까지 혼자서 모든 작업을 해보고 싶어서 시작했는데...

라벨링 작업이 손목이 너무너무너무 아프고 눈이 빠질 것 같더라구요...

그래서 어느정도 라벨링이 된 후엔 나머지 일부 train 이미지에 대해

auto labeling을 야매로라도 한다고 생각하고 inference를 진행시킨 뒤,

잘못된 라벨에 대해 수정을 하고, 다시 inference하는 것을 반복했어요!

이렇게 하니 데이터 라벨링 속도가 점점 가속이 되더라구요!

train data labeling >

autolabeling (train data inference > edit label > train data inference) >

test data predict

이번 개인 프로젝트에서의 나름 최고의 꿀팁..?!

라벨링 이후에는 이미지 데이터 증강 기법(image data augmentation)을 배운대로 적용해서

train dataset을 증폭시켰어요.

이미지에 대해 augmentation을 할 때에는

회전, 반전, 채도, 명도를 조절하는 등의 기법을 사용할 수 있는데요.

사과 이미지를 좌우로 뒤집는다고 해서 사과가 아니라고 할 수 없고,

컴퓨터 입장에서는 아예 다른 이미지 데이터이기 때문에,

1개였던 이미지 데이터가 2배 곱해지는 개념입니다!

여기서 잘 생각해야 할 것은,

어떤 작업을 하고 있냐에 따라 수평으로 뒤집는게 나쁠수도

(예: 글자는 수평으로 뒤집으면 다른 글자가 되겠죠?!)

수직으로 뒤집는게 나쁠수도

(예 : 현실에서 걷고 있는 사람들은 발이 땅으로 향하고 있죠!)

있다는 점이에요!

또 너무 밝거나 어둡게 만든다면

시커멓거나 허연 이미지가 학습데이터에 들어가 학습을 방해하겠죠?

Detection에 사용했던 모델은 yolov5 모델을 사용했어요!

일반적으로 많이 사용되며 빠르고 정확한 모델로 배웠기 때문에 사용해봤어요.

시간이 지남에 따라 부패단계가 진행되고,

초기에 급증했던 파리의 개체 수가 날짜가 지남에 따라 다시 감소하는 양상을 보였다.

결과적으로 돼지 이미지에서 파리를 놓치지 않고 잡아내는 것을 확인했고,

사람이 하면 100마리 세는데 몇십분 걸리고, 지치는 작업을

12092장에 대해 약 30분 정도의 시간으로 정확하게 잡아내고,

detect된 개체수를 바로 데이터화 해서 분석할 수 있었어요!

법곤충학 분야에서 정보를 수집하는 것은 굉장히 중요한데요.

하지만 인력, 시간, 비용의 문제로 모든 정보를

사람이 직접, 완벽히 수집하는 것은 힘든 일이죠.

아직 인공지능이 적용되지 않은 분야가 너무너무 많아요!

그런 수많은 분야에도 효율성을 높일 수 있다면,

더 좋은 연구 결과들이 만들어질 수 있지 않을까 기대를 하게 됩니다~!

(English)

In October, I presented my poster in the Journal of Ecology.

[Title]

Real-time monitoring of cadaveric insects using deep learning

[Summary]

Many predatory insects approach animal carcasses, and flies, in particular, are typical cadaveric insects that lay eggs on carcasses and are utilized by maggots as nutrients.

Tracking flies' access patterns to carcasses is expected to be helpful in forensic science and understanding insects that use ephemeral nutritional resources.

Observation of the population of fast-flying insects such as flies is difficult to do with the naked eye, and collection requires considerable manpower and investment.

We propose a camera monitoring system that can detect and identify objects by analyzing images using computer vision and deep learning technology in the field of artificial intelligence.

A total of 12092 images were tested, and it was possible to measure the fly population at that time without collecting 12092 times.

We expect that the application of this system will be useful in actual investigations as well.