[딥러닝] Computer Vision Applications

Semantic Segmentation

• 어떤 이미지가 있을 때 각 이미지의 픽셀마다 분류를 하는 것(이미지의 모든 픽셀이 어떤 라벨에 속하는지 찾는것)

• 자율주행에 많이 활용됨

Fully Convolutional Network

• Dense layer를 없애고 convolution layer로 바꿔주는것
  
• parameter 개수도 똑같고 output도 똑같은데, Convolutionalization하는 이유
  
• 기존의 flat 시켜서 dense layer를 통과시키는 방법은 fully connected lyaer를 사용하기 때문에 픽셀의 위치정보를 제대로 전달하지 못한다. 반면에 마지막에 convolution layer를 사용하면 합성곱 연산을 이용해 2D feature를 유지하면서 연산하기 때문에 위치 정보를 같이 담고 있다. 따라서 convolutionalization을 해서 모든 layer를 convolution layer로만 구성하면 network에서 위치 정보가 소실되지 않고 유지된다.

Deconvolution(conv transpose)special)

• convolution의 역 연산. convolution을 할 때 stride를 2로 설정하고 zero padding을 잘 설정하면 special dimension이 반이 줄게 된다. 반대로 deconvolution은 special dimension을 두배로 키운다. ($15 \times 15$ -> $30\times30$)
  

• deconvolution은 convolution의 '엄밀한 역'은 아니지만 parameter의 개수와 network 입력과 출력의 느낌으로 봤을때는 역과 똑같다고 보면 된다.

Detection

• Semantic Segmentation과 다르게 픽셀별로 구분하는것이 아니라 bounding box를 찾는것

R-CNN

• image안에서 bounding box를 2000개 뽑고, region에 대한 feature를 CNN을 통해 얻고, Linear SVM(support vector machine)으로 분류하는것.

SPPNet

• R-CNN의 가장 큰 문제는 image내에서 bounding box를 2000개 뽑으면 2000개의 이미지를 CNN에 모두 통과시켜야 하는것이다. 이를 개선하기 위해 이미지 안에서 CNN을 한번만 돌리자는 아이디어로 나온것이 SPPNet이다. 이미지 안에서 bounding box를 뽑고, 이미지 전체에 대해서 convolution feature map을 만든 다음에 뽑힌 bounding box 위치에 해당하는 convolution feature map의 tensor만 가져오는것.

Fast R-CNN

• input image가 들어오고 bounding box를 2000개 뽑는다. 그리고 나서 conv feature map을 한번 얻는다. 그 후 각각의 region에 대해서 fixed length feature를 뽑는다. 그 후 마지막에 neural network를 통해서내가 얻어지는 bounding box를 어떻게 움직이면 좋을지와 바운딩 박스에 대한 라벨을 찾는다.

Faster R-CNN

• 이미지를 통해서 bounding box를 뽑아내는 Region Proposal이라는것 또한 학습을 시키자는 아이디어에서 나옴.

Region Proposal Network

• 이미지에서 특정 영역이 바운딩박스로서의 의미가 있을지 없을지(물체가 있을지 없을지)를 먼저 판단하는 것이다. 이 물체가 무엇인지는 뒷단에 있는 새로운 네트워크가 해준다.

• anchor boxes : 미리 정해놓은 바운딩 박스의 크기

• fully convolution network가 해주는 것은 해당하는 영역의 이미지에 물체가 들어있을지 없을지에 대한 정보를 들고 있는것이다.
• 9 : ahchor box의 type
• 4 : bounding box regression
• 2 : bounding box에 물체가 들어있을지 없을지 판단(classification)

YOLO

• Faster R-CNN은 bounding box를 찾아주는 RPN이 있었고, 거기서 나오는 bounding box를 따로 분류해주었으나, YOLO는 RPN에대한 step 없이 이것을 한번에 분류한다.