[논문] 딥러닝 기법을 사용한 휴대폰 사용 감지

🔗 논문 링크

1. 서론

• 연구 목표 : 자동화된 휴대전화 사용 감지 기술을 개발한다.
• 합성곱 신경망(CNN)을 활용하였다.
• CNN : 객체 탐지 알고리즘 기술

문제점

• 데이터 부족 : 훈련에 사용할 충분히 주석 처리된 데이터셋이 부족하다.
• 객체 크기 문제 : 휴대전화는 사진이나 CCTV 영상에서 비교적 작은 객체로, 기존 객체 탐지 알고리즘으로는 정확히 감지하기 어렵다.
• 복합적인 감지 필요 : 단순히 휴대전화의 존재를 감지하는 것이 아니라, 사람이 실제로 휴대전화를 사용 중인지를 판단해야 한다.
• 휴대전화의 다양성 : 스마트폰으로 진화하면서 휴대전화의 크기와 외형이 크게 변하여 탐지가 더욱 어려워졌다.

2. 배경 및 관련 연구

휴대전화 사용 감지 연구

• 기존 연구는 주로 운전자와 승객의 휴대전화 사용 감지에 초점을 맞췄다.
• 딥러닝 기술을 적용한 연구는 많지 않았다.
• 이미지를 150 x 150 x 3 해상도 행렬로 전처리 하였다.
• 50개 미만의 소규모 데이터셋을 사용했기 때문에 성능이 제한적이었다.

Faster-RCNN

• RCNN 계열 알고리즘 중 추론 속도가 빠르고 계산 효율서이 높은 모델이다.
• 객체 후보 영역을 생성한다.
• 입력 이미지를 ResNet509 RestNet101과 같은 백본 CNN에 입력하여 특징 맵을 생성한다.
• 1 x 1 합성곱 레이어로 구성되며, 하나는 개체 존재 여부를 분류, 다른 하나는 바운딩 박스 회귀를 수행한다.

SSD(Single Shot Detection)

• 단일 프레임에서 다중 객체를 감지할 수 있는 멀티박스 탐지 모델.
• 탐지 속도가 빠르지만 작은 객체의 경우 정확도가 떨어질 수 있다.

FPN(Feature Pyramid Network)

• 다중 스케일 객체 감지에서 정확도와 속도를 높이기 위해 설계된 구조.

3. 제안된 접근법

3.1 동기

• 과도하거나 부적절한 휴대전화 사용을 방지하여 생산성을 높인다.
• 운전 중이거나 중요한 활동 중에 휴대전화 사용을 방지함으로써 사고를 예방할 수 있다.
• 휴대전화 사용이 금지된 장소에서 이를 감지하여 법 위반 증거로 활용할 수 있다.

3.2 데이터셋

• 이미지 데이터셋을 수집하였다.
• 문제점 : 훈련 및 테스트에 사용할 표준화된 데이터셋이 부족하다.

KaggleDriver 데이터셋

• Kaggle의 State Farm Distracted Driver Detection 데이터셋
• 분류 목적에 맞게 설계되었지만, 불필요한 이미지를 많이 포함하고 있어 수작업으로 필터링하였다.
• 운전자가 휴대전화를 사용하거나 단순히 들고 있는 이미지를 포함하였다.

• 총 데이터셋 이미지 : 10,238개
• 훈련용 이미지 : 9,242개
• 테스트용 이미지 : 996개

IITH-DMU 데이터셋

• KaggleDriver는 전경 및 배경 장면의 종류가 매우 제한적이기 때문에, 이를 완하고자 맞춤형 데이터셋을 만들었다.
• 사무실, 마을, 시장 또는 거리 환경에서 촬영된 이미지와 소형/구형 휴대전화 및 대형/신형 휴대전화를 모두 포함한다.
• 해상도 : 6000 x 4000 (높은 해상도로 인해 적은 수의 이미지로도 CNN 모델을 훈련할 수 있다.)

• 총 데이터셋 이미지 : 618개
• 훈련용 이미지 : 338개
• 테스트용 이미지 : 280개

3.3 객체 탐지 알고리즘 선택

• 딥러닝 모델은 예측 성능, 모델 크기, 추론 지연 시간 간의 균형을 제공한다.
• COCO 데이터셋에서 몇 가지 최신 모델의 평균 정밀도(mAP) 점수
  

3.4 주석(Annotation) 접근법

• labellmg 도구를 사용해 데이터셋 이미지를 라벨링 하였다.
• 연구 목표 : 단순히 "휴대전화와 사람의 존재"를 감지하는 것이 아니라, 사람이 실제로 휴대전화를 사용 중인지를 감지한다.

(1) 휴대전화만 주석

• 사람이 휴대전화를 사용 중인지 판단하는 데 충분하지 않음

(2) 휴대전화 / 손 별도로 주석

• 휴대전화와 손을 별도로 주석 처리하고, 두 객체의 교차(intersection)를 찾는 방법을 시도하였다.
• 한계점
  ① 두 개의 다른 훈련된 모델을 사용해야 하믈 ㅗ시간이 많이 걸린다.
  ② 복합 주석 접근법보다 정확도가 낮다.

(3) 복합 주석 접근법

• 손과 휴대전화를 함께 주석 처리한다. 하나의 바운딩 박스에 손과 휴대전화를 모두 포함시킨다.

최종적으로, 복합 주석 접근법을 사용하였으며, 성능이 가장 뛰어났다.

4. 결과 및 분석

딥러닝 모델 평가

• Faster-RCNN
  ResNet50과 ResNet101을 백본으로 사용한다.
• SSD(Single Shot Detection)
  Inception_v2를 백본으로 사용한다.
  ReNet50과 FPN(Feature Pyramid Network)를 포함한다.

사용한 딥러닝 모델 : FPN

• FPN을 포함한 SSD를 구현하는 이유 : 다양한 크기의 객체를 이미지에서 탐지하기 위함
• 한계 : 다중 스케일 객체 처리는 높은 메모리 자원을 요구하며, 모델 훈련 시 시간 소요가 크다.
• 해결 : 정확성과 속도를 모두 만족시키는 특징 추출기로 설계된 FPN을 사용하였다.

결과 분석 및 모델 간 성능 비교

• 암우튼!
  Faster-RCNN
  FPN이 가장 좋았다고 합니다...

정확한 탐지와 오류 사례

• 정확한 탐지 : 그림 8의 다섯 이미지는 모델이 휴대전화를 거의 완벽하게 탐지한 경우이다.
  

• 오류 탐지 사례 : 훈련 데이터셋이 예외적인 경우를 처리할 수 있는 충분한 이미지가 없었다.
  

5. 결론

• 휴대전화 사용 이미지를 포함한 새로운 데이터셋을 제안하였다.
• 다양한 피사체, 배경 설정, 휴대전화 유형을 포함하고 있다.
• 휴대전화 사용 감지를 위해 딥러닝 알고리즘을 사용하였으며, 이것을 데이터셋에서 훈련하였다.
• 두 데이터셋 (KaggleDriver 및 IITH-DMU) 모두에서 높은 정확도를 보여주었다.