컴퓨터 비전이란 무엇인가?
•컴퓨터비전은 시각 데이터를 공부하는 학문
•인간의 눈의 개수보다 많은 스마트폰의 카메라로 우리는 매일 엄청난 센싱데이터들을수집해오고 이것은 엄청 커지고,방대한 양을 생산
컴퓨터 비전은 매년 매년 기하급수적으로 발전합니다. 문제는 비주얼 데이타를이해하기가 참 어렵다는 것입니다.
이런 문제를 물리학의 Dark matter와 연관지어서이야기 할수있습니다.
Dark matte의 물리학 문제로는
•우주에서 대량의 부분을 차지
•직접적으로 관측 불가
때때로 우리는 이런 비쥬얼데이터들의 문제들을 dark matter of the internet in analog 라 칭합니다.
그러나 이것들을 직접적으로 관측할수없습니다. 인터넷에 비쥬얼데이터는 이와 비슷합니다.
인터넷주변에 날라다니는큰 부분을 구성한다. 이것의 알고리즘을 이해하고 정확하게 뭘로 구성되어있는지보기 어렵습니다.
컴퓨터 비전은 다른 학문과 연계된 분야입니다. 다른 학문을 많이 건드리죠.
•광학과 이미지 합성 등을 위해 물리학 필요
•동물 뇌가 어떻게 보는지, 이미지를 어떻게 처리하는지 알기 위해 생물학 필요
•컴퓨터 사이언스와 수학 , 엔지니어링을 알아야 컴퓨터 비전 알고리즘을 구현하는 시스템 제작 가능
컴퓨터 비전이 언제 시작되었고 우리는 어떤 위치에 있는지에 대해 이야기 할것입니다.
비전의 역사는 사실 5억4천3백만년전으로 돌아갈수있습니다.
그때의 생활은 어땠을까요?
•지구는 물로만 구성
•몇 개의 없는 동물들이 수면 위를 떠다님
•온도가 매우 낮음
•동물들은 잘 돌아 다닐 수 없음
•그들은 눈과 같은 기관이 어떤 것도 없음
•먹이들은 그냥 물에 잡히는 것들을 섭취
그럼 어떻게 ? 짧은 천만년 기간동안 몇없던종들이 폭발적으로 증가. Why?
많은 이론 들이 나왔지만 생물학자들은 빅뱅에 의해 급격한 발전을 했다 말했고 그러다 몇 년전앤드류 파커라는 호주 동물학자가 자신이 발견한 화석 연구를 통해 믿을 만한 이론을 제시합니다. 그는 5억 4천만년전 처음으로 눈을 가진 동물을 발견했습니다.
눈을 가지면서 활발한 삶을 살게 된 것입니다
•포식자가 먹이를 쫒아다니고, 먹이는 포식자를 피해다니면서진화의 가속화
시간이 지나고
•지난 5억 4천만년동안 시각은 이후에 가장 큰 감각기관으로 발전
•우리의 대뇌 피질은 50%에 해당하는 뉴런이 시각과 연관
•우리는 시각의 도움으로 일하고, 돌아다니고, 조작하고 오락하고 소통
비전은 동물들에게 중요합니다. 특히 지능을 가진 동물들 한테요
이상 짧은 생물학적 비전 이였습니다.
사람이 만든 기계적인 비전 혹은 카메라 같은 역사는 어떨까요?
최초의 카메라
•1600년대 르네상스 시대에 obscura
•Based in pinhole camera theory
•구멍으로 빛을 받아들이는 초기 동물의 눈 구조
이렇게 카메라가 발전되는 동안 그동안에 생물학자들은 시각의 매커니즘에대해 공부해 왔습니다.
In 1950,생물학자인 휴벨과 위즐의전기물리학을 이용한 연구는 동물이나 인간의 시각뿐만아니라컴퓨터 비전에도 영향을 주었습니다.
그들은 질문을 했습니다. 영장류나 포유류에서 시각 처리 메커니즘은 어땠을까?
시각적으로 인간의 뇌 구조와 유사한 고양이 뇌 뒤에 전극을 꽂고 어떤 자극이 그 지점의 뉴런을 흥분하게 하는지 관찰했습니다.
발견한 것은 비주얼 프로세싱이 단순한 구조로 부터 출발한다는 겁니다. 주황선안에 그림을 보면 방향이 있는 선이 추가되고 정보가 뇌로 올라갈 수록 점점 복잡한 내용이 시각정보로부터 만들어 진다는 겁니다. 그렇게 해서 결국은 복잡한 시각적 세계를 인식하게 된다는 겁니다.
컴퓨터 비전도 60년대 초에 시작합니다. 래리 로버트의 논문에 나오는 연구입니다. 컴퓨터비전에 관한 첫 논문이죠. 세상이 간단한 기하 도형으로 단순화 될 수 있다는 주장이었습니다. 1966년 summer vision project 에서 도형들을 인식하고 이 도형들을 재구성 해보는 시도 라는 목표를 가지고 프로젝트를 진행했습니다.
50년이 지나고 컴퓨터 비전은 엄청난 붐을 일으켰고 대부분의 근본적인 문제는 해결하였지만 아직 모든 문제를 해결하진 못했습니다.
우리가 감사해야할또 다른 사람은 mit의 davit marr 입니다.
70년대 후반 비전분야에 영향력있는책을 씁니다.
•시각이 무엇인지 컴퓨터 비전은 어떻게 나가야 하는가?
•알고리즘은 어떻게 디자인해야 하는가?
세상을 인식하는 컴퓨터 비전을 만들수있는지에 대한 책이었습니다.
marr의 책에서 그의 사고 과정은 입력 이미지 부터 완전한 3d모델 표현을 단계 별로 설명합니다.
휴벨과 위젤은초기 단계 시각 처리는 엣지와같은 단순 구조와 관련이 많다고 합니다. 그 다음으로 그 조각들을 표면과 깊이 정보혹은 비주얼 장면의 불연속성으로 만듭니다. 그 다음 이 모든 것을 합쳐서 3차원 모델을 만듭니다. 표면과 부피 초기값 등에 관해서 계층적으로 구성합니다. 시각이 무엇인지에 대한 매우 이상적인 사고 과정입니다.
이런 사고 과정이 컴퓨터 비전을 수세기 동안 지배했습니다. 그리고 이것이 시각 분야에 입문하는데 매우 직관적인 방법이고 우리가 시각 정보를 어떻게 분해할 수 있는지에 대해서도 그렇습니다.
1970년대에 매우 중요한 세마나그룹이 있엇는데, 그들은 어떻게 우리가 단순한 블록뿐만아니라 그것을 넘어서 실제 세상의 물체를 인식할 수 있을까?에 대해 질문했습니다.
그땐 데이터가 별로 없던 시절입니다.
스탠포드에서 과학자들이 유사한 두개의 아이디어를 제안했습니다.
하나는 일반화된 실린더 (generalized cylider)이고, 다른 하나는 그림 구조 (pictorial structure)죠.
예를 들면, 사람이 실린더 모양으로 표현될 수 있다거나 혹은 사람의 중요한 부분들을 가변적인 거리로 연결해서 엮을수있다
둘 다 복잡한 구조의 물체가 단순한 모양의 집합과 기하학적 구성으로 단순화 될 수 있다는 겁니다. 이 연구는 수년동안 꽤 영향력이 있었습니다.
데이빗 로의 연구는 어떻게 시각적 세상을 인식하고 단순한 구조로 재구성할 수 있는지에 대한 예입니다.
그는 라인과 엣지를구성해서 면도기를 인식하려고 했는데, 대게 직선과 직선들의 조합이었죠.
하지만 모든 물체를 이 같은 방식으로 해석하기는 무리가 있었습니다.
6, 7, 80년대 컴퓨터 비전 작업이 무엇인지 고민하는데 많은 노력이 있었지만 이 방법으로 물체 인식은 쉽지 않았습니다.
그것들은 매우 대담하고 야망적인시도였지만 장난감 수준에 그쳤거나 몇가지 경우에만 가능했습니다.
그래서 학자들은 물체 인식이 어렵기 때문에 이미지 세그멘테이션 먼저 해보자!
이미지 세그멘테이션은 이미지를 불러들여서 픽셀을 의미 있는 영역의 그룹으로 모으는 것이었습니다.
우리는 모인 픽셀이 사람인지는 모르지만 사람에 속한 픽셀을 배경으로부터 분리할 수 있었습니다.
위의 예시는 그래프 알고리즘을 이용해 초기에 사용한 세그멘테이션방법입니다.
컴퓨터 비전 분야의 대표적인 문제 중 하나인 얼굴 탐지입니다. 1999년에서 2000년 통계학적 머신기법이탄력을 얻기 시작합니다. 서포트 벡터 머신, 부스팅, 그래피컬모델 그리고 극초기의 신경망도 있었죠. 큰 공헌을 한 모델은 바로 에이다 부스트알고리즘을 이용한 것이었죠. 폴라 비올라와 마이클 존스에의해 리얼타임 탐지가 가능했습니다.
열악한 상황에서도 대단한 성과를 낸 연구입니다.
2001년, 컴퓨터 칩이 매우 느릴 때 했고, 이 논문이 발표된지 5년만에, 후지필름은 실시간 얼굴 탐지가 가능한 디지탈카메라를 내놓습니다. 기초적인 과학 연구가 현실 세계 제품에 적용되기 까지 매우 빨랐습니다.
다시 물체 인식으로 돌아와 90년대말에서 2000년대까지 10년동안 ‘물체 인식을 어떻게 더 잘 해야하는지연구하는 분야’에서 매우 영향력 있는 아이디어가 나옵니다. 그건 피쳐 (feature) 기반 물체 인식 입니다.
데이빗 로의 세미나 연구인 시프트 (SIFT) 인데요, 물체 전체를 매칭하고 피쳐를찾아내는 것입니다. 그림을 통해 예를 들면, 정지 표지판을 다른 정지 표지판과 비교해 보는 것입니다. 매우 어려운 일이죠 . 카메라 앵글, 가림, 찍는 위치, 조명, 물체에 내제된 변형이 모두 영향을 줍니다. 그러나 물체에 찾아낼 만한 피쳐가있고 변화에도 영향을 받지 않는 것이 있었습니다. 물체 인식은 이런 물체의 중요한 피쳐를찾아내는 것으로부터 시작했습니다. 그리고 그것을 비슷한 물체의 것과 비교했습니다. 전체 물체의 패턴을 매칭하는 것보다 쉬웠죠.
계속해서 피쳐기반 물체인식에서 이미지 안에 이것이 어떤 장면일지 알려주는 특징이 있을꺼라는 가정하에 ,그 결과 전체 장면을 인식할 수 있게 됩니다.
공간 피라미드 매칭 (Spatial Pyramid Matching)이라는 알고리즘인데 이미지에 피쳐가있으면, 어떤 장면인지 알려주는 단서들이 있게 되고, 풍경인지, 주방인지, 고속도로인지 알게 됩니다.
공간피라미드 매칭은 동작원리로는 이미지의 여러 부분에서 피쳐를 뽑아내고 피쳐 디스크립터 (feature descriptor)에서 합칩니다. 서포트 벡터 머신 (SVM)알고리즘을 적용시키는 방식이었습니다.
이제 2000년대 중.후반으로 와서
앞선 피쳐기반과정들을 통해 비슷한 작업이 사람 인식에 있어서도 탄력을 얻었습니다.
이런 피쳐를 합쳐서 어떻게 인간의 신체를 더 실제적인 이미지로 구성하고 그것을 인식하는 지를 연구한 논문들이 있었습니다. 하나는 historgramof gradients 였고, 다른하나는 (deformable part model 입니다.
수십년을 거치면서 2000년대에 이르는 동안 바뀐 것이 있는데 그건 이미지의 품질입니다.
인터넷과 디지털 카메라 성장으로 컴퓨터 비전연구를 위한 더 나은 데이터가 생겼습니다
2000년대 초반 우리는 물체 인식이 얼마나 잘 되는지 진전을 측정할 수 있는 벤치마크 데이타셋을 갖게 됩니다.
가장 영향력있는 데이타셋이 Pascal Visual Object Challenge 였습니다.
20개의 물체 클래스로 되어 있고, 기차, 비행기, 사람 외에 영역별로 수천에서 수만장의 이미지가 있었습니다. 이 분야에서 여러 그룹이 테스팅 셋에 대해서 테스트 알고리즘을 개발했고 얼마나 진전했는지를 보여줍니다. 오른쪽은 그래프에서 확인 할 수있습니다.
그때쯤에더 어려운 질문을 하나 들어옵니다.
‘우리는 모든 물체 혹은 세상의 대부분의 물체를 인식할 준비가 됐는가?’ 그건 머신러닝에기반한 관찰을 통해 동기 부여되었는데, 대부분의 머신러닝모델은 서포트 벡터 머신이든, 에이다 부스트든과적합되기 쉬웠습니다.
비주얼 데이타가매우 복잡한 것이 문제였습니다. 복잡한 고차원 인풋이 들어오고 파라미터가 많고 충분한 데이타가없고, 과적합이 매우 빨리 일어나며 일반화 할 수가 없었습니다.
1)세상의 모든 물체를 인식하고 싶다와 2) 머신러닝의 과적합 보틀넥 (bottle neck)을 극복하고 싶다는 것으로
스탠포드에선 이미지넷 (Imagenet)프로젝트를 시작합니다.
우리는 가능한 한 우리가 찾을 수 있는 모든 사진, 모든 물체에 대해서가장 큰 데이타셋을 확보였습니다.
워드넷이라는 수만 오브젝트 클래스 이용해 수십억 이미지를 인터넷에서 다운로드하는 것으로 시작했습니다.
그리고 Amazon Mechanical Turk 플랫폼 이용해서 모든 이미지를 정렬하고 정제하고 레이블 달았습니다. 1천5백만에서 4천만 이미지가 2만2천 카테고리의 물체와 장면으로 분류되었습니다. 엄청났고 아마도 그 당시 인공지능 분야에서 가장 큰 데이타셋이었습니다.
물체 인식 알고리즘은 또 다른 국면으로 전환하게 했습니다.
특히, 중요한 것은 이 데이터셋어떻게 응용할거냐?인데
2009년 부터 이미지넷 팀은 국제 챌린지를열었고 ImagenetLarge Scale Visual Recognition Challenge라고 불리는 경진대회를 위해
프로젝트팀은 보다 기존 데이터보다 적은 140만 물체와 1천 클래스 데이타를제공
컴퓨터 비전 알고리즘에 대해 이미지 분류 결과를 테스트하기 위한 것이었죠.
이 대회 진행방식은 여기 예시 사진이 있고 만약 알고리즘이 다섯개의 레이블을 출력하여 그 다섯개레이블이 사진에 있다면 성공이라고 합니다.
이것은 2010년부터 15년까지 결과 요약입니다. 와이축은 에러율입니다.
이 과정에서 모든 물체 인식 문제를 풀 수 있었던 것은 아니지만 엄청난 진전입니다. 에러율은 해가 갈수록 줄어 인간과 동일한 수준까지는 이 분야는 몇년만에도달했습니다.
이 그래프에서 주목할 시점은 2012인데 전년보다 거의 10퍼센트 포인트가 낮아집니다. 그 해 우승 알고리즘은 Convolutional Neural Network인데, 이 강의는 그 알고리즘에 초점을 맞추고 있습니다. CNN (Convolutional Neural Network)이 뭔지깊이 파게 됩니다.
다른 유명한 이름은 딥러닝 (Deep Learning)이죠
- 원리는 무엇인지?
- 좋은 학습이 무엇인지?
- 최근의 CNN의 모습은 무엇인지?
딥러닝은컴퓨터 비전뿐만아니라 자연어처리,음성인식 등등 다른 분야에도 엄청난 능력을 보여줬습니다.
이 강좌는 이미지 분류 (image classification)에 초점을 맞춥니다.
이미지넷 챌린지에서과정과 유사합니다.
알고리즘이 이미지를 보고 정해진 카테고리로 그 이미지를 분류하는 겁니다.
제한적이고 인공적인 셋업인 것 같지만, 꽤 일반적입니다. 다른 여러 세팅에서도 사용할 수 있습니다.
다른 시각 인식 문제도 얘기할 건데요. 바로 물체 탐지(detection)와 이미지 캡셔닝(captioning)입니다.
물체 탐지는 이미지를 분류하는 것이 아니라 이미지 내에서 자동차,사람이 여기 있다고 네모를 그리는 겁니다.
이미지 캡셔닝은 이미지가 주어지면 이미지를 설명하는 자연어를 생성하는 것입니다. 하지만 기본적으로 이미지 분류는 사용됩니다.
이 분야에서 진전을 크게 이뤘던 것은 CNN을 도입한 이후입니다. 콘브넷 (Convnet)이라고도 합니다.
지난 몇년간 이미지넷 챌린지를우승한 알고리즘을 보면, 2011년 린은 여전히 계층적인 방법을 씁니다. 여러 레이어를 쓰고 피쳐를계산하고
풀링, 그리고 여러 레이어 처리를 거쳐 결과로 나온 디스크립터를 SVM (support vector machine)에 넣었습니다.
돌파구는 2012년에 나왔는데 토론토의 제프 힌튼 그룹과 알렉스와 그의 박사과정 학생 일리아가 이 7 레이어의 CNN을 만들었습니다. 지금은 알렉스넷으로알려져 있고 7층의 CNN구조의 아키텍처 가지고 엄청난 성능 향상을 보였습니다. 더 이상 계층적 방법을 사용하지않고 CNN을 사용하기 시작했습니다. 그 이후 이미지넷 우승은 신경망 차지였습니다.
매년 점점 더 깊어졌는데, 알렉스넷은 7 혹은 8 레이어 신경망이지만, 2015년엔 더 깊어졌고, 구글넷도 그렇고, 옥스포드의 VGG는 당시 19레이어였습니다.
2015년엔 마이크로소프트 리서치 아시아에서 나온 레지듀얼네트웍 (Residual Network)는 152 레이어였죠.
이후 200까지 가면 더 성능이 좋았지만, GPU 메모리가 부족했습니다. 기억해야 할점은 2012년에 CNN등장이 돌파구 순간이였다는겁니다.
그 이후 이미지 분류 문제에 더 잘 동작하도록 하기 위해서, 이 알고리즘을 튜닝하고 변경하기 위해 많은 노력이 있었습니다.
중요한 건 2012년 이미지넷에서 등장했지만 2012년에 발명된건아니라는 겁니다.
이전에 이미 오랫동안 있었는데요. CNN의 기초적인 작업은 90년대에 있었죠.
얀 르쿤과그의 동료가 당시 벨 랩 (Bell Lab)에 있었는데, 1998년에 이 CNN을 숫자 인식을 위해 만듭니다.
그들은 이걸 배포해서 손으로 쓴 수표나 우체국에서 주소를 자동으로 인식하게 하려고 했죠.
이미지의 픽셀을 받아들여서 어떤 숫자인지 어떤 글자인지 분류하려고 했으며, 이 구조는 알렉스넷 과유사합니다.
2012년의 그림을 보면 90년대의 것과 많은 것을 공유합니다.
왜 CNN을 갑자기 최근 많이 사용하게 되었을까요? 90년대와 달리 변화한 점들이 크게 두가지가 있습니다.
하나는 컴퓨팅 능력이죠. 무어의 법칙 (Moore's law) 덕분으로 매년 더 빠른 컴퓨터가 나옵니다. 칩 내부의 트랜지스터의 집적도는 매년 두배씩 증가할것이다.이 예측은 현실이 되었습니다.
또한 GPU (Graphical Processing Unit)가 등장해 슈퍼 병렬처리가 가능하고, 결국 이 계산이 많이 필요한 CNN을 빠르게 처리할 수 있게 됩니다
연구자들이 더 큰 아키텍처를 탐험해 보고, 더 큰 모델을 만들고, 더 많은 데이터셋을 적용하였습니다 이러한 성능 상승은 딥러닝 분야에 매우 중요합니다.
두번째 바뀐 점은 데이타입니다. 이 알고리즘들은 데이터에 배고파합니다. 많은 레이블된이미지를 넣어야 하고 레이블된픽셀을 넣어줘야 잘 동작하죠. 90년대엔 레이블된 데이타가없었죠.다양한 데이타셋을구하기 어려웠습니다. 2010년대에는 파스칼이나 이미지넷 같은 크고 고품질 데이타셋즉, 90년대보다 몇자리수가 더 큰 데이타가존재합니다. 이 큰 데이터로 우리는 더 큰 용량의 모델로 작업할 수 있고, 이 모델들로 현실 문제를 해결해나갔습니다.
시각적 지능에 대한 탐구는 물체 인식을 넘어선 지한참 되었습니다.
컴퓨터 비전 분야는 사람처럼 보는 기계를 만드는 일을 하고 있습니다.
사람은 시각으로 더 많은 일을 하죠. 우리는 무언가를 볼 때, 이미지 detection처럼 박스를 그리고 ,
물체를 개 고앙이 구분하는 것만 하지 않습니다. 여러분의 시각은 이것보다 더 많은일을합니다.
이 분야에는 우리가 해결해야할 엄청나게 많은 문제와 도전들이 있습니다.
몇가지 예시를 오래전 아이디어로부터 말하자면 , 의미적 구분(segmentation)이나 지각적인 그룹핑 (grouping),
이미지 전체를 레이블하기보다 이미지의 모든 픽셀을 이해하고자 하는 것입니다.
픽셀이 뭘 하고 뭘 의미하는지를 말입니다. 전 세계를 재구성하는 아이디어 연구는 아직 풀리지 않았습니다.
어떤 사람의 행동을 보여주는 비디오를 보면서 그 행동의 의미를 인식하는 좋은 방법은 뭘까요?
AR이나 VR 영역을 보면 새로운 기술과 새로운 센서가 등장하여, 이 분야에서 풀어야 할 많은 새로운 어려운 문제들이 나와 있습니다.
스탠포드 대학 비전 랩 (Vision Lab)의 저스틴 존슨의 개인 연구로 예를 들자면, 비주얼지놈 (visualgenome) 데이타셋으로 복잡한 사항을 찾아 현실 이미지에서 단지 박스를 그리기 보다는
오른쪽의 이 큰 그래프로 이미지를 설명하는 것입니다.
의미적으로 연관된 개념으로 나열한 것입니다.
단지 물체 인식만이 아니라 물체 관계, 물체 속성, 장면에서 벌어지는 행동, 이런 표현이 우리가 이 비주얼 세계의 풍부함의 일부를 이해하게 합니다.
이런 방향으로 또 재밌는 것은 페이페이 (Fei-Fei)의 대학원 시절에서 가져온 것인데, 그녀가 박사과정일때 연구입니다. 지나가는 사람의 길을 막고 0.5초 동안 이미지를 보여주고, 이렇게 짧게 보여줬는데 사람들은 이렇게 긴 이야기를 쎴습니다.
만약 더 오래 봤다면 이 사람은 누구이고, 왜 게임을 운동장에서 하고 있는지,등등 외부 지식과 자기 경험을 가져와서 소설을 썼을 겁니다. 이런 주관은 이미지의 이해를 어렵게합니다.
한편으론 이것이 어떤 점에선 컴퓨터 비전의 성배입니다? 이미지를 풍부하고 깊게 이해하는 것 말입니다.
지난 몇 년간의 엄청난 진보에도 불구하고 이 성배를 이루기 위해서는 갈 길이 멉니다.
Holy grail 이라고 표현을 했는데 위키피디아 기준으로 holy grail을 서양권에서는 종종 이루어내거나가질 수 없는 목표를 상징하는 단어라 합니다
다른 예는 안드레 카파씨 (Andrej Karpath)의 블로그에서 가져온 건데요.
저울에 어떤 사람이 서 있는데, 사람들은 보통 몸무게에 대해선 남을 의식합니다.
저울로 몸무게를 재는데 뒤의 다른 사람이 저울을 발로 누르고 있죠. 그럼 저울 눈금이 올라가죠. 저울에 있는사람은 의야해합니다 근데 그 뒤에있는사람이 미국 대통령인 버락 오바마라는 겁니다. 뒤에 보면 웃고 있는 사람들이 있습니다. 그들은 오바마를 보고 있구요.
컴퓨터가 이 장면을 이해해야 한다는 거죠. 이 이미지엔 많은 일이 벌어지고 있습니다. 우리의 컴퓨터 비전은 이런 깊은 이해를 하기엔 갈 길이 멉니다.
컴퓨터 비전은 유용하며 여러가지 면에서 세상을 더 좋은 곳으로 만들 것입니다.
의료 진단이라든가 자율주행, 로봇, 이 모든 분야에서요.
게다가 인간의 지능을 이해하는 핵심 아이디어에 이르기까지요. 우리는 깊이 파고 들어 이 알고리즘들이 어떻게 동작하는지에 대해 이 과목에서 이 모든 세부사항에 대해서 알아볼 겁니다.
cs231n 1강 - 2017을 ppt로 재구성하고 설명을 달았습니다.
