시각 디능 딥러닝 내용 중 가장 기억에 남는 내용을 꼽으라면 다음의 문구이다.

✅ CNN

Convolutional neural network(CNN 또는 ConvNet)란 데이터로부터 직접 학습하는 딥러닝의 신경망 아키텍처이다.

CNN은 영상에서 객체, 클래스, 범주 인식을 위한 패턴을 찾을 때 특히 유용하다. 또한, 오디오, 시계열 및 신호 데이터를 분류하는 데도 매우 효과적이다.

사실 작년에도 CNN을 아주아주 정말 살짝 찍먹을 하는 바람에 대략적인 개념도 헷갈리고 있었는데 이번 기회에 기초 개념을 이해할 수 있어서 도움이 많이 되었다.

🤷‍ CNN이 중요한 이유

CNN은 영상 및 시계열 데이터에서 주요 특징을 찾아내고 학습하기 위한 최적의 아키텍처를 제공한다. CNN은 다음과 같은 응용 분야에서 핵심 기술로 사용된다.

의료 영상

• 의료 영상: CNN은 수천 건의 병리학 보고서를 검토하여 영상에서 암 세포의 유무를 시각적으로 검출할 수 있다.

- 신호 처리

오디오 처리: 마이크가 있는 모든 기기에서 키워드 검출을 사용하여 특정 단어나 문구("Hey Siri!")가 발화되었을 때 이를 검출할 수 있다. CNN은 키워드를 정확하게 학습하여 어떤 환경에서도 다른 모든 문구는 무시하고 키워드를 검출할 수 있다.

- 객체 검출

객체 검출: 자율주행에서는 표지판이나 다른 객체의 존재 여부를 정확하게 검출하고 출력을 바탕으로 결정을 내리는 데 CNN을 사용한다.

- 합성 데이터 생성

합성 데이터 생성: GAN(생성적 적대 신경망)을 사용하여 얼굴 인식 및 자율주행을 비롯한 딥러닝 응용 분야에서 사용할 새로운 영상을 생성할 수 있다.

✨ Yolo

You Only Look Once 의 약자로 Object detection 분야에서 많이 알려진 모델이다. 처음으로 one-stage-detection 방법을 고안하여 실시간으로 Object Detection이 가능하게 만들었다.

🔎 Yolov5 특징

1. 이미지 전체를 한번만 보는 것

R-CNN: 이미지를 여러장으로 분할하고 CNN 모델을 이용하여 이미지를 분석했다. 따라서 이미지 한장을 보더라도 여러장의 이미지를 분석하는 것과 같았다. 하지만 YOLO는 이러한 과정없이 이미지를 한 번만 보는 특징을 가지고 있다.

2. 통합된 모델을 사용하는 것

기존 Object Detectin 모델은 전처리모델 + 인공신경망 을 결합하여 사용했다. 하지만 YOLO에서는 위를 통합한 모델을 사용한다.

3. 실시간으로 객체를 탐지할 수 있는 것

기존의 R-CNN보다 6배 빠른 성능을 보여준다.

🔎 Object Detection의 구조와 종류

최신 detector 는 주로 백본과 헤드라는 두 부분으로 구성된다.

백본(Backbone)은 입력이미지를 feature map으로 변형시켜주는 부분이다.

헤드(Head)는 Backbone에서 추출한 feature map의 location 작업을 해주는 부분으로, predict classes 와 bounding boxes 작업이 수행된다. 헤드는 크게 Dense Prediction과 Sparse Prediction으로 나누어진다.

Sparse Prediction을 사용하는 Two-Stage Detector: Predict Classes 와 Bounding Box Regression 분리 ex) R-CNN, R-FCN Dense Prediction을 사용하는 One-Stage Detector: Predict Classes 와 Bounding Box Regression 통합 ex) YOLO, SSD

넥(Neck) 은 Backbone 과 Head를 연결하는 부분으로, feature map을 정제하고 재구성한다.

🔎 절차
input(이미지) → CNN → FC(Fully Connected) → PT(Prediction Tensor) 를 반복