이미지/사운드 데이터들을 매칭시키는 해커톤 아이디어 부문 지원 프로젝트입니다.

• 전주대학교 산업협력단, (재)전주정보문화산업진흥원에서 주최한 해커톤에 참가했습니다. 창의적인 AI 학습용 데이터 활용 문화 조성과 혁신적인 이미지 사운드 매칭 알고리즘 아이디어 발굴을 위한 '2022년이미지 사운드 매칭 인공지능(AI) 해커톤 대회' 입니다.🐻🐻🐻

프로젝트 과제 요약서

• 프로젝트 과제 요약서입니다. 총 5명의 조원이 협업했습니다.🙋‍♂️🙋‍♂️🙋‍♂️

• 프로젝트 진행 기간은 2022-12-15 ~ 2022-12-22 일주일 소요되었습니다. 12/21~12/22 기간에는 직접 전주에 방문한 후 제공받은 숙소에 머물며 발표 준비와 PT발표를 진행하였습니다.

• 주제선정 - 개방된 이미지/사운드 데이터 전처리 - Model 학습 및 강화 - 이미지<->사운드 매칭 - 결과 Report(활용처,확장 가능성,한계점,기대효과) 순으로 진행하였습니다.🧐🧐🧐

프로젝트 내용

• 서론

  1. 주제 선정 배경

     인공지능은 사람이 구별하기 힘든 음성/이미지데이터도 높은 정확도와 빠른 속도로 분류할 수 있습니다. 매년 발생하는 차량 사고, 자동차 출고 전 불량품 감지와 더불어 최근 탄소 중립시대에 맞춰 증가하는 전기차 사용량 만큼이나 고장, 화재건수 또한 상승하고 있어 인공지능을 통해 이를 예방하고자 했습니다.

  2. 프로젝트 주제

     이미지/사운드 매칭 기술을 활용한 차량 제조 이상 감지 시스템을 제안합니다. 차량 브레이크나 엔진이 평상시와는 다른 소음을 낼 때 고장난 부품을 이미지로 보여주거나 차량 본넷을 열어 이상이 생긴 부품을 시각적을 인지했을 때 해당 불량 소음을 출력하여 확인할 수 있는 시스템 등의 양방향 점검 시스템을 제시합니다.

• 개방된 이미지/사운드 데이터 분석
  
  

• 모델 정의/평가

  1. 이미지

     1) 정교한 인공지능을 위한 이미지 데이터 관리
     제공받은 각 이미지 데이터안에서 특정하고자 하는 물체만 박스 레이블링하여 전처리

     2) OpenCV 라이브러리 활용 물체 탐지
     GaussianBlur 활용 잡음 제거, Canny와 Threshold로 명도를 조정하여 물체의 윤곽 추출

     3) CNN 딥러닝 모델
     이미지의 색상과 위치 정보를 convolutional layer에 통과하여 여러 filter에 적용.이 후 Maxpooling layer를 통과하여 데이터를 압축.마지막으로 DNN 모델을 거쳐 분류
     하게 됌

     4) 평가
     개방된 데이터 기준 90%이상의 정확도를 보임

     5) 정리
     부품을 탐지하고 학습하는 이미지 분류 모델로써 차량 점검 시스템에 기여

  2. 음성

     1) Librosa 라이브러리 활용 음성데이터 벡터화
     제공된 데이터들은 가전제품 소음이나 교통 신호와 같은 효과음들이기 때문에 주파수들의 특징 자체를 분석

     2) 데이터 증강
     정교한 모델 성능을 위해 원본 데이터의 백색 소음 추가, 주파수 위치 변환하여 데이터 증강

     3) 3가지 머신러닝 모델/강화
     XGBoost : GBM기반 알고리즘. 병렬학습 지원으로 빠른 학습 속도 제공
     LightGBM : 리프 중심 트리 분할 방식으로 적은 메모리만 사용
     Random Forest : 여러개의 의사결정나무가 모임으로써 과적합을 피함
     GridSearchCV 활용 모델 성능 강화

     4) 평가
     3가지 모델 평가 95%의 정확도를 보임

     5) 클래스 세분화
     프로젝트 주제에 맞게 클래스 세분화 진행. 예를 들어, '차량 공회전' 클래스를 '차량 공회전버스', '차량 공회전_SUV', '차량 공회전승용차' 등으로 나누어 분류할 수 있음을 근거로 차종별 점검 시스템의 가능성을 제시

     6) 매칭 검증
     '차량 공회전버스'와 같이 반복되는 형태의 소음은 높은 예측확률로 분류. '경고음 철길건널목' 클래스와 같이 경고음 소리와 기차 엔진소리가 섞인 데이터의 경우 분류하는데 어려움이 있음

     7) 정리
     사람이 듣기에는 비슷한 차량 소음들을 분류할 수 있고 특징을 추출해 낼 수 있는 음성 분류 모델로써 차량 점검 시스템에 기여
     
     

• 분석 활용 전략

  1. 차량 제조 공정 시스템

     1) 기존 H사와 비교 (1)
     과거 2019년 H사에서 AI 소음 진단 기술을 활용한 유지보수 시스템을 개발.이에 더 나아가 고장 소음을 측정하여 수리 방법 솔루션을 디스플레이 이미지로 출력하거나 고장난 부품을 마스킹하여 해당하는 부품의 정상적인 출력 소음을 비교하여 수리할 수 있는 서비스 제시.

     2) 기존 H사와 비교 (2)
     H사에서는 출고 직전 완제품의 소음 데이터만 수집하여 학습하고 분류. 이를 확장하여 각 부품 공정단계에서부터 데이터들을 수집하여 점검하면 현행 시스템보다 빠른 시기에 문제점 파악/해결 가능

  2. AS 시스템

     1) 비전문적 AS 인력 배치 가능
     AS 출장 시 고장 부품 정보 / 수리 솔루션이 디스플레이로 출력되는 형태. 이로써 이전보다 비전문적인 인력 배치 가능

     2) 소비자의 정보 비대칭성 해소
     소비자 자신의 제품의 교체 부품/수리 비용 등의 대한 이해 증대.
     
     

• 기대효과

  1. 기업
     제품 테스트에 들어가는 경제적/인력적 소요의 절감

  2. 소비자
     제품 유지보수에 대한 이해 증대

• 결론

  이미지/사운드 매칭 기술을 활용하여 이미지/음성 데이터 양방향 교차 검증이 가능한 차량 이상 감지 시스템을 제시

• 한계점 및 향후 개발 방향

  1. 한계점
     출시했던 제품이 업그레이드되었을 때 해당 버전마다 각각 데이터를 수집하고 학습해야하는 소요 발생

  2. 향후 개발 방향
     본 프로젝트에서 제시한 아이디어가 기업내에서 성공적으로 유치되었을 시 카페 커피머신 점검, 가정용 에어컨 수리 등 조금 더 개인화된 점검 서비스의 형태로 자리매김 가능.

참고

해커톤이미지/사운드 매칭프로젝트 (2) 글에 기재된 음성 분류 모델 코드 참고하시면 되겠습니다.