📝 웹캠으로 촬영한 사용자의 영상이 어떻게 모델로 넘어가고, 예측 결과를 받아올 수 있는지에 대해 조사하는 시간을 가진다.
🔹Ref1 -지능형 행동인식 기술을 이용한 실시간 동영상 감시시스템 개발
✔️ 스트리밍 서버로 실시간으로 동영상을 전송한다.
✔️ 이후 모델 서버에서 전처리 후 모델에 넣어 결과를 도출한다.
🔹Ref2 - 파이썬 flask - ML&DL RESTFul API
✔️ 실시간도 영상 예제도 아님
✔️ 이미지 예제 && 이미지를 불러와서 reshape 후 모델에 넣어줌
👽 실시간으로 videocapture 해서 이미지를 넣어주는 방법이 가능하지 않을까?
🔹Ref3 - Tensorflow.js로 백엔드 없이 딥러닝 모델 이용하기
✔️ flask와 같은 모델용 서버를 두지 않고 tensorflow.js를 사용
✔️ webcam-easy 라이브러리를 사용하여 webcam을 이용
✔️ h5 파일을 변환하여 js파일로 가져온다.- Keras 모델을 TensorFlow.js로 가져오기
++ 저번과 동일한 레퍼지만, tensorflow.js 사용
🚩 결론
⚡방법은 3가지
- 스트리밍 서버를 사용해서 영상을 전달 + 전달받은 영상을 전처리 후 모델 서버에 넣어 결과를 도출 -> 웹 서버에 결과값 전달 -> 웹서버가 클라이언트에 전달
- 실시간으로 videocapture -> 모델 서버에 전달 후 예측 -> 웹서버에 결과값 전달 (레퍼런스 찾지못했음,,)
- videocapture -> tensorflow.js를 활용하여 모델서버를 두지않고,웹에서 모델을 돌림
✅ 일단은 tensorflow.js를 활용하는 방법을 구현해보는 시도를 해보는 건 어떨까? 라는 결론을 내림.
❓궁금증 및 생각⚡
❓모델을 위한 서버를 사용하지 않는 방법(tensorflow.js)이 분명 있는데, 서버를 이용하는 이유는 뭘까?
-> Tensorflow.Js란 무엇이고 어떤 장점이 있을까?
-> 딱히 단점을 적어놓는 사람을 보지 못했다..
❓스트리밍 서버로 사용자의 영상을 가져오면, 백엔드에서 데이터 셋 처리했던 방식과 똑같이 전처리를 해서 넘겨주는 것 아닐까?
❓실시간으로 캡쳐해서 이미지를 넘겨주는 레퍼런스도 찾아봐야할 것 같다.
-> 못찾음,,
❓모델 재학습을 해야할까? (백에서 계속 모델 재학습이 이루어져야하는가?)
❓vgg16이 모델에 포함될까? == 모델을 저장하면 cnn lstm 모두 저장되는게 맞을까?
-> 포함이 안되는 것 같다.
❓⚡lstm을 빼보는건 어떨까? -> cnn (inception v3 / vgg16 전이학습)
⚡ 빨리 영상 하나를 테스트 해보는 걸 해봐야겠는데..?
🚩 최종 결론
- tensorflow.js 를 사용해보자.
- 영상 하나 테스트를 빨리 해보자.
참고
- 실시간 백엔드 딥러닝 영상분석 서비스 프레임워크
- AWS 머신러닝 서비스를 활용한 실시간 이미지 분석 - 김무현 (AWS 솔루션즈 아키텍트) - 영상 시청해야함/ 하지만 AWS를 사용하는 방법이외엔 설명이 없으며, 사례가 부족함.
참고 _ 관련도 낮음
