[논문 리뷰] PowDew - Detecting Counterfeit Powdered Food Products using a Commodity Smartphone(Jonghyuk Yun et al.)

Powdered formula water droplet의 상호작용 측정 및 분석

PowDew droplet motion의 wettability and porosity 분석

POWERED FOOD의 경우 영양적인 가치를 지니기도 하지만, 유아 건강에 악영향을 미칠 수 있는 상품들도 존재

Commodity smartphone으로 이러한 부분에 대한 solution을 제시할 수 있을까??

Smartphone의 카메라로 droplet의 motion을 캡처하고 이 캡처한 motion을 통해 물질을 depict함. (정확한 설명과 증명을 위해 스마트폰 화면으로 감지된 부분에 체커보드 패턴을 넣음)

2. 파우더 분말의 물리적 특성

   1. Wettability and porosity

   2. Wettability가 높을수록 평평한 모양이며, 낮을수록 원형 유지
      장력 계산은 Young's Equality를 이용해 계산

   3. Porosity가 높을수록 물에 대한 침투력이 높음.
      흡수력 계산은 Darcy's Law를 이용하여 계산
      PowDew Idea의 Challenges and Core Idea
      2D View에서 3차원의 영상을 추출해 내야 한다!

      변화가 Checkerboard에 바로 표현되므로 스마트폰에서 noticeable함

   Center Square의 모양과 크기 변화에 주목, 빠르게 관찰할 수 있다.

Solid Line으로 체커보드 없이 관찰하면 차이를 명확하게 관찰하기 힘들지만, Checkboard의 Center line으로 관찰 시 명확한 차이를 알 수 있다.

단순 면적으로 비교하기보다는 중앙 체커보드의 면적을 비교함으로써

시스템의 구조

1. User-Guidance and Data Collection

   Powder spoon, screen을 포함해 고정된 위치가 중요하므로 최적의 위치를 찾도록 도와준다. 이 상태에서 폰 스크린 못 봄 -> 보조 디스플레이(TV 등) 필요
   음성 피드백도 제공(왼쪽으로 옮겨라 등)

2. 전처리

   1. powder bed region에서 핵심 부분을 고정하고 다른 부분은 무시하게 처리

   2. ROI

   3. PowDew의 경우에는 edge detection Algorithm사용

   4. Hough Circle Algorithm(원형의 물체를 탐지할 수 있는 알고리즘: OpenCV)

   5. n successive frames로 consistently identify한 후 square area를 감지

   6. Cropped Region은 640*640으로

   7. 조명이나 powder의 색에 의해 대비가 되지 않을 수 있으므로 contrast 개선 활용

   8. RGB -> Lab(Luminance, ab is colors)

3. Checkerboard Feature Extraction

   1. Corner Detection
      1. YOLOv8의 경우 많은 데이터셋으로 학습되어 있어 이 분야에서의 특수성 부족
      2. 이 모델을 Fine-Tuning해서 특수한 데이터셋에서 성능이 향상되도록 구현
   2. Corner Tracking
      1. DeepSORT(트래킹 알고리즘)이용하여 코너에 번호를 매겨 추적
   3. Corner Error
      1. 한 번 Detection된 것이 재탐색되어 에러 발생 가능
      2. Corner Detection Error 발생 가능
   4. 보정
      1. 유클리드 거리를 계산 후 계산된 거리에서 가장 가까운 Corner로 간주하여 오류 수정
      2. Interpolating을 통해 코너가 감지되지 않는 문제 수정(b-1, b+1 코너의 위치를 통해 b의 위치 추정)
   5. 특징 추출
      1. 면적
      2. Major to Minor Axis Ratio (두 대각선의 비율)
      3. 계산 전 Z-score NORMALIZATION을 한다.
      4. 계산 후 평균, 분산 등 통계적 점수를 구한다.
         

4. 학습과 검증

   1. XGBoost 모델을 통해 최적화 (이외에도 다양한 모델을 통해 학습 및 최적화할 수 있음.)
   2. XGBoost 모델 자체가 앙상블이기 때문에 다양한 초기 Parameter를 통해 앙상블함.

5. 실험 결과

   1. 전등을 켜 두었을 때
   2. XGBoost 모델에서 가장 정확도 높음.

   이 논문의 경우 Powder의 안전성을 검증하기 위한 딥러닝 모델로, 이미지 프로세싱에서의 모바일 장비 활용이 중요해 보인다. 모바일 카메라 활용 시 단순히 카메라 모델을 CNN 기반의 모델로 이미지를 입력하기 전 전처리가 중요함을 다시금 느낀다.