이미지/사운드 데이터들을 매칭시키는 해커톤 아이디어 부문 지원 프로젝트입니다.

• 해커톤이미지/사운드 매칭프로젝트 (2) 글에 이은 발표 PPT 및 설명 글입니다.🐤🐤🐤

발표 설명 및 PPT

안녕하십니까.
저는 팀원페어 팀의 발표를 맡게 된 임정민입니다. 반갑습니다.
저희 조의 주제는 이미지-사운드 매칭 이상 감지 시스템입니다. 발표 바로 진행하겠습니다.

'

발표 목차입니다. 서론 부분에서는 프로젝트 주제 선정 배경, 이미지 파트에서는 전처리 아이디어, 모델 개발, 평가입니다. 사운드 파트에서 해당 내용은 동일하며 분석 활용 전략 파트에서는 이미지-사운드 매칭 기술을 활용할 수 있는 아이디어에 대한 내용 순서로 말씀드리겠습니다.

(서론)

혹시 다음과 같은 소리가 어떤 음성 데이터인지 구분이 가시나요?

(소리 재생 후)
많이 헷갈리시겠지만 사전에 제공받았던 에어컨 음성 데이터입니다.

또, 어릴 때 보았던 그림책 ‘월리를 찾아라’에서 주인공인 월리는 찾는데 오랜 시간이 걸린 경험이 있으실 겁니다. 이처럼 인간은 난해하고 복잡한 음성 데이터, 이미지 데이터를 인식할 때에 어려움을 겪는 경우가 있습니다.

하지만 5년전 대중들에게 본격적으로 알려졌던 구글 바둑 인공지능 기술 알파고와 같이 사람보다 정교하고 정확한 판단을 내릴 수 있는 인공지능 기술이 발달하면서 사회 전반에 빅데이터를 활용하여 부가가치를 생산해낼 수 있는 방안을 고민하고 있는 상황입니다. 본 해커톤 대회도 이와 같은 맥락으로 개최되었고 특히 이미지_사운드 매칭 기술의 활용처에 대해 토론해 보는 시간이라고 생각합니다.

저희조가 생각하는 적용분야는 자동차 제조 분야입니다. 최근 탄소중립 시대에 맞춰 증가하고 있는 전기차 사용량만큼이나 화재건수 또한 상승하고 있고 이를 인공지능 점검 기술을 통해 예방하고자 합니다.

다음과 같이 제품 이상 감지 시스템에 적용하고자 합니다. 먼저 보이시는 사진처럼 이미지적으로는 차량 본넷의 고장난 부품을 시각적으로 인지하여 분류한다던지

음성적으로는 자동차 엔진이 평상시 와는 다른 소음을 낼 때 이상치를 감지하여 불량으로 분류하는 방식으로 활용될 수도 있습니다. 저희 조는 이러한 이상 감지 분류 시스템에서 더 나아가 매칭 모델까지 활용할 수 있는 아이디어를 고안하였고 이에 대한 첫 단계로 데이터 분석과 모델 개발에 대한 내용을 설명 드리겠습니다.

먼저 이미지 분류 모델입니다.

보다 정교한 인공지능을 개발하기 위해서 전처리 계획을 수립했습니다. 우선 특정하고자 하는 물체를 선정만 따로 boxing 했습니다.

현재 보이시는 영상은 방금 말씀드린 잡음제거, boxing을 위한 시스템입니다. 파이썬의 Opencv 라이브러리를 활용하였고 원본이미지의 특정 명도 이상 벗어나는 부분을 윤곽선으로 그려서 데이터를 구축했습니다.

이미지 분류에 사용한 모델은 CNN이고 영상에서 보이시는 것처럼 색상과 위치 정보 데이터가 convolutional layer 통과하여 여러가지 filter에 적용되고 이후 maxpooling layer를 통과하여 데이터를 압축하는 전처리 방식입니다.

그 다음으로 DNN 모델을 거쳐 분류하게 됩니다.이러한 원리로 부품을 탐지하고 분류할 수 있는 이미지 모델을 활용하여 매칭 기술에 접목시킬 수 있습니다.

다음으로 사운드 분류 모델에 관한 내용입니다.

제공된 데이터들은 가전제품 소음이나 교통 신호 소리와 같은 효과음들이기 때문에 파이썬 librosa 라이브러리를 활용하여 주파수적인 특징들, 그래프들을 수치화시켜 전처리하였고

저희가 받은 데이터들 중 모델이 학습하기에 적은 카테고리들이 있었는데 더욱 정교한 모델 성능을 위해 원본 데이터에 백색소음을 추가하는 등 데이터 증강을 통해 학습하여

머신러닝 3가지 모델 기준으로 95% 정확도를 얻을 수 있었습니다.

다음으로 카테고리 세분화입니다. 저희 주제에 맞게 기존에 주신 데이터의 클래스에서 더 세분화하였습니다. 예를 들어서 차량 공회전이라는 클래스가 있다면 더 구체적으로 차종별로 구분할 수 있게 차량공회전_버스, 차량 공회전_SUV 등으로 나누어 분류할 수 있는 모델을 만들었습니다.

(매칭예시1)
다음과 같이 매칭했습니다. 무작위 음성 데이터가 들어가면 그에 맞는 이미지가 출력되는 방식입니다. 여기서 클래스에 따라 높은 확률로 맞히는 것도 있고 자주 틀리는 음성데이터들도 있습니다.

이렇게 이상 감지 매칭 시스템에 활용될 소음을 분류하고 각 특징들을 추출해 낼 수 있는 모델을 적용시킨...(다음장)

매칭 기술 활용 전략에 대해 소개드리려고 합니다.

첫번째로 차량 생산 공정 과정에서의 활용입니다.

먼저 기존의 H사에서 AI 소음 진단 기술을 활용한 유지보수 시스템을 개발해왔습니다. 하지만 저희 조는 이 시스템에서 더욱 확장되어 고장 소음을 측정하여 솔루션을 디스플레이 이미지로 출력하고 고장난 부품을 마스킹하여 고장 소음을 출력하는 교차 검증 방식으로 더욱 정교한 제품 점검이 가능합니다. 또한 H사 기준으로 완제품의 소음 데이터만 수집하여 학습하고 검증하였는데 저희 시스템은 부품 공정단계에서부터 데이터들을 수집하여 현행 시스템보다 빠른 시기에 문제점을 파악할 수 있습니다,

이러한 부분들을 시각화해서 나타낸다면 좌측에 보이시는 파장들처럼 음성데이터를 측정하고 우측에 보이시는 사진처럼 수리 방법에 대해 솔루션을 디스플레이로 제시하는 형태입니다.

두번째 아이디어로는 AS 시스템입니다. 방금 말씀드린 매칭 기술같이 수리 방법에 대한 솔루션이 보인다면 서비스센터에 방문한 고객을 대응할 때 조금 더 비전문적인 인력으로 대응할 수 있습니다. 또한 고객입장에서 교체한 부품, 수리비용 등에 관한 정보 비대칭성을 줄일 수 있습니다.

종합적으로 가장 중요한 기대효과는 기업입장에서는 제품 테스트에 들어가는 경제적/인력적 소요의 절감이고 소비자입장에서는 제품 유지보수에 대한 이해 증대입니다.

결론적으로 저희가 구상하는 아이디어는 위 사진과 같은 형태로 이미지와 사운드가 매칭/ 교차건증 시스템으로 구현됩니다.

다음으로 한계점과 향후 개발 방향입니다. 저희가 생각하는 한계점 한 개만 뽑자면 한 제품이 업그레이드된다면 각각 데이터를 수집하고 학습해야한 다는 점이 가장 어려운 부분이라고 생각합니다. 향후 개발 방향으로는 기업내의 시스템에서 성공적으로 적용된다면 카페 커피머신, 가정용 에어컨 수리 등 좀더 개인화된 점검 서비스의 형태로 자리 잡을 수 있다고 생각합니다.

마지막으로 참고문헌이고 이상 발표를 마치겠습니다. 감사합니다.

마치며

데이터 구축 엔지니어를 목표한 뒤 처음으로 패기있게(!) 도전한 해커톤 대회입니다. 좋은 호흡을 보였던 머신러닝 프로젝트를 진행했던 팀원들과 지원하여 다시 한번 함께하게 되었습니다. 새싹 인공지능 SW 교육과 동시에 소화해내야했기에 체력적으로, 시간적으로 지칠 때도 있었지만 교육장에서 나아가 전국 단위의 학생분들,취준생분들,현업 종사자분들과 경쟁하며 더욱 넓은 시야로 IT분야를 바라볼 수 있었습니다. 또한 스스로의 위치를 확인하여 자기 객관화할 수 있는 시간이 되었습니다.🐦🐦🐦

다양한 전공의 교수님들 앞에서 직접 PT발표를 진행하며 스스로 생각했던 이야기를 정확하고 간결하게 전달할 수 있는 힘을 기를 수 있게 되었습니다. 발표 전날 주최사 측에서 제공해주신 호텔(!) 숙소에서 총 5명의 팀원들과 밤새며 준비하였습니다. 때로는 팀원들과 협력하는 과정에서 모든 일이 100% 순조롭게 진행된 것은 아니였습니다. 하지만 저 스스로 감정을 통제하며 주어진 시간과 환경에 맞추어 문제를 해결해 나가는 인내심을 기를 수 있는 계기가 되었습니다.

그리고 이를 기반으로 우수상을 수상하는 훌륭한 결과로 이어지게 되었습니다. 뒤돌아보면 쟁쟁한 타 참가 팀들을 보며 위축되기도 하였지만 이에 대해서는 크게 신경쓰지 않고 묵묵히 스스로 해야하는 일만을 바라보고 실행했기에 이에 따른 보상을 받았다고 생각합니다. 이후에 다시 한번 큰 무대에서 증명할 기회가 생긴다면 또 다시 도전해볼 생각입니다!💪💪💪

긴글 읽어주셔서 감사합니다!💓💓💓