시각장애인을 위한 편의점 음료 인식 어플

2022년 10월 5일부터 2023년 4월 6일까지
고용노동부 K-Digital Training 과정으로 수강한
알파코 캠퍼스의 <빅데이터 기반 딥러닝 부트캠프 4기>
메인 프로젝트

• 기간 : 2023.01.02~2023.02.17
• 팀원 : 박성혜, 이창재, 임보라, 정유석
• 사용 언어 : Python
• 사용 모델 : YOLOv5
• 개발 환경 : Google Colaboratory, AWS, Android Studio

목차 Index

1. 개요
2. 데이터 출처, 규모, 전처리 방식
3. 어플 구현 과정
4. 한계점과 확장방안

1. 개요

다양한 시각장애인의 시야

• 비장애인은 흔히 시각장애인이 모두 전맹이라고 생각하지만, 실제 시각장애인의 시야는 다양합니다.
  

시각장애인이 편의점에서 음료를 고르는 방법

• 대부분의 음료에 점자가 없거나 '음료'라고만 되어 있어 시각장애인이 상품 선택 시 어려움을 겪습니다.

(한솔 영상 움짤로 올라갈 예정)

쇼우나우 어플 소개

시각장애인이 어플을 사용하는 방법

• 시각장애인도 핸드폰과 어플을 사용할 수 있습니다.

(우령 영상 움짤로 올라갈 예정)

2. 데이터 출처, 규모, 전처리 방식

• 데이터는 아래와 같이 세 가지로 나뉩니다.
  • 편의점에서 직접 촬영한 데이터 약 700장
  • AI Hub에서 다운로드 받은 데이터 약 800장
  • 웹크롤링 데이터 약 1800장
    
• 전처리 작업은 Roboflow에서 진행하였습니다.
  

3. YOLOv5 nano 모델 선정 이유

• YOLOv5 nano는 CPU와 GPU에서 모두 가장 빠른 모델입니다.

• 실제 데이터셋으로 비교하였을 떄에도 YOLOv5 nano가 뛰어난 성능을 보였습니다.
  

4. 모델 개선

5. 어플 구현 과정

• 어플 시작 → 상품 인식 → TTS로 안내
  
  

6. 어플 시연 영상

7. 어플 등록 현황

8. 한계점과 확장 방안

• 한계점

  • 투명 용기 인식에 어려움
  • 상품의 패키징이 변화함에 따라 주기적인 업데이트 필요
  • 스마트폰 기종에 따른 UI와 인퍼런스 성능에 차이가 있어 개선 필요

• 추후 확장 방안

  • STT를 추가하여 소비자가 데이터 추가 요청 가능
  • 상품 별 이벤트 설명 가능
  • OCR을 추가하여 상품 별 유통기한 설명 가능
  • 상품군 확대 가능
  • 아이폰 어플 개발 가능

---

References

1. https://github.com/ultralytics/yolov5
2. https://github.com/AarohiSingla/TFLite-Object-Detection-Android-App-Tutorial-Using-YOLOv5
3. https://www.youtube.com/watch?v=ROn1_O2zEtk

Authors

박성혜 이창재 임보라 정유석