preview

사람은 시각, 청각 등과 같이 오감을 통해 세상과 상호작용을 하면서 성장한다. 사람이 감각을 통해 받아들이는 정보의 75%는 시각을 통해 온다고 한다.
따라서 인간의 지능을 모방하기 위해서는 시각을 모방하는 것이 중요할 것이다.
이런 인간의 시각을 모방하는 것이 Computer Vision이라고 할 수 있다.

Computer Vision이란?

컴퓨터 비전이란?
컴퓨터 비전은 시각적 세계를 해석하고 이해하도록 컴퓨터를 학습시키는 인공 지능 분야입니다. 컴퓨터가 카메라와 동영상에서 디지털 이미지와 딥 러닝 모델을 사용하여 객체를 정확하게 식별하고 분류하는 학습을 마치면 "관찰" 대상에 반응할 수 있습니다.

즉, 컴퓨터에서 어떻게 보고(visual perception) 상상하는지(visual intelligence)를 가르치는 것으로 볼 수 있다.

💁‍♀️ 인간이 시각적으로 받아들이는 데이터는 무엇일까?
인간의 시각적 세계를 데이터로 표현하면 visual data라고 할수 있다.
visual data : image data 또는 video data 이다

💁‍♀️ 그렇다면 인간의 시각적 인지는 어떤 것들이 있을까?

• color perception

  

• motion perception

  

• 3D perception

  

• semantic-level perception

  

• social perception(emotion perception)

  

• visuomotor perception
  - 동일한 두 개체가 같은지 식별하는 Visual discrimination
  - 시각 정보를 기억하는 Visual memory
  - 두 개체가 크기, 색상이 달라도 같다는 것을 아는 Form constancy
  - 복잡한 배경에 물체가 숨겨져 있을때 물체를 찾는 Figure ground
  - 개체 중 하나의 일부가 누락되더라도 동일한 두 개체를 식별하는 Visual closure
  - 위의 개념들을 포함하는 인지능력으로 손글씨를 읽거나, 미로를 탈출하거나, 퍼즐 맞추기 등을 하는 능력으로도 볼수 있다.

  

• etc(understanding human visual perception capability)

CV의 tasks

💁‍♀️ 딥러닝 기술이 나오기 전에 CV는 어떻게 구현했을까?

* 기존에는 시각 데이터를 인간이 직접 특징을 추출해 학습을 시켰다. 인간이 직접 특징을 추출하다보니 인적자원 소모도 높고 인간의 편향이 들어가 불안정한 결과물을 도출해냈다

💁‍♀️ 딥러닝 기술이 어떻게 CV는 바꾸었을까?

* 딥러닝 기술이 나온 이후 인간이 직접 특징을 추출하지 않고 컴퓨터가 특징 추출과 분류를 처리해 더 많은 데이터를 처리할 수 있게 되었다.

💁‍♀️ 그렇다면 CV는 어떤 과제들이 있을까?

• classification

  

• semantic segmentaion

  

• object detection

  

• instance segmentation & panoptic segmentation

  

• data augmentation

  

• knowledge distillation
  큰 모델의 지식을 작은 모델로 transfer함

  

• multi model
  vision data 뿐만아니라 text, sound data도 다룰 수 있는 모델

  

• conditional generative model(이미지 생성모델)

  

• neural network analysis by visualization
  neural network의 시각적 이해와 디버깅 시각화

Epilogue

💁‍♀️ 다음 장에서는 CV의 시점이라고 볼 수 있는 classification 부터 시작해서 앞에서 다룬 CV의 과제들을 하나 하나씩 다룰 예정이다.

-참고 -

네이버 부스트캠프 AITech 5기 자료
https://www.sas.com/ko_kr/insights/analytics/computer-vision.html