[cs231n] Lecture 2: Image Classification pipeline review

👨‍🏫 본 리뷰는 cs231n-2017 강의를 바탕으로 진행했습니다.

Syllabus
Youtube Link

Image Classification pipeline

📌 Image Classification: Computer Vision의 Core task이다.!!!

⚡ 위 사진을 보면 우리는 "고양이"라는 걸 알 수 있다. 하지만 컴퓨터는 인식하지 못한다.

⚡ 위 사진은 컴퓨터가 보는 고양이 사진의 일부이다.
📌 컴퓨터가 고양이를 인식하기 위해선 다양한 해결요소가 존재한다.

(1). Viewpoint variation: 시선의 방향의 따라 픽셀의 값은 항상 달라진다. 즉, 사람의 시선으로는 같은 물체이지만 컴퓨터는 아니다.
(2). Illumination: 조명이나 밝기에 따라 픽셀의 값은 항상 달라진다.
(3). Deformation: 자세 및 변형적인 모습에도 물체를 인식할 수 있어야한다.
(4). Occlusion: 일부가 가려진 물체에도 인식 할 수 있어야한다.
(5). Challenges: 색 및 형체가 비슷한 배경에도 인식 할 수 있어야한다.

👨‍🏫 좋은 Image Classification을 하기 위해선 위와 같은 조건들이 만족해야한다. 강의에서는 'robust' 해야한다고 언급한다.

** Robust란 해석하자만 사전적으로 "강건한" 이라는 의미를 가진다. 조금 더 머신러닝 관점으로 이야기하면 outlier에 덜 민감하다는 뜻이다. (Ex. t-분포는 정규분포보다 robust하다. 두 분포의 그래프를 보면 t-분포가 정규분포보다 더 두꺼운 꼬리를 볼 수 있다.)

📌 직관적인 알고리즘으로는 구현하기에는 너무나 어려운 과제이다. 위의 사진과 같지 edges와 corners를 사용해 구분할 수 있지만, 위의 방식은 위의 조건들에 대해 robust 하지 못한다.

Data-Driven Approach

(1). Collect a dataset of images and labels
(2). Use Machine Learning to train a classifier
(3). Evalute the classifier on new images

📌 위의 문제를 해결하기 위해, Data-Driven Appoach 방법을 사용한다. 요약하면 데이터 수집 -> 모델 학습 -> 새로운 이미지로 test를 한다. 어떤 직관적인 알고리즘을 찾는 것이 아닌 주어진 데이터를 활용한 알고리즘을 만드는 방법이다.

Classification

Nearest Neigbor

✔ 매우 간단한 classification을 모델이며, 일반적으로 거리를 계산해 classification을 하는 모델이다.

📌 Distance Metric: 거리를 계산하는 방법은 기본적으로 2가지가 있다.
(1) L1 distance: I1, I2의 차를 절댓값한 후 sumation 하는 방법이다.
(2) L2 distance: I1, I2의 차의 제곱합을 구한다.
📌 Nearest Neigbor모델로 학습한 결과이다. 위의 결과를 보면 초로색 바탕안에 노란점 하나 유독 눈에 뛴다. 분명 위의 노란점은 초록색으로 분리했어야한다. 분명 위의 모델로 테스트를 진행하면 좋은 결과를 얻지 못할 것이다.

K-Nearest Neigbor

📌 Nearest Neigbor모델에서 K만 추가된 모델이다. 여기서 K가 의미하는 것은 가장 가까운 K개의 포인트를 찾아서 투표를 통해 class를 구분하는 것이다. 기존은 Nearest Neigbor모델과 기본적인 로직은 동일하다. 위의 사진을 보면 K가 증가할 수록 경계가 점점 부드러워 지는것을 볼 수 있으며, 실제 몇몇 포인트는 잘못된 class에 들어가 있는것을 볼 수 있다. K=5인 모델이 K=1인 모델보다 정확하게 분리하지는 못하지만, K=5인 모델이 조금 더 일반적이다. 분명 test case로 검증한다면 K=5인 모델이 더 좋은 결과를 보여줄 것이다.



📌 하지만 Image classification에서 K-Nearest Neigbor모델은 사용되지 않는다. 이유의 위의 사진들을 보면, 직관적으로 원본을 제외한 나머지 3개의 사진들이 전부 다른 이미지인것을 알 수 있다. 하지만 3가지 이미지 전부 같은 L2 값을 가지게 된다. 또 하나의 이유는 "Very slow at test time" 테스트하는데 너무 많은 시간이 든다.

📌 또한 Curse of dimensionalilty(차원의 저주)라는 문제가 있다. 차원(=변수)이 커질수록 , 계산법이 지수적으로 커지는 현상이다. 고차원이 될 수록 데이터 사이의 거리를 멀어지고, 빈 공간이 생긴다. 아래 사진과 같이 1차원이 증가할 수록 지수적으로 증가하는 것을 볼 수 있다.

Hyperparameters

📌 Hyperparameter은 번역하면 초개매변수라고 한다. Hyperparameter은 모델을 학습시키위해 임의적으로 지정하는 변수라고 할 수 있다. K-Nearest Neigbor에서 K(=1,3,5..)와 distance(L1,L2)는 모델을 학습시키는 사람이 임의적으로 지정한다. 이러한 변수들을 Hyperparameter라고 한다. 최적의 Hyperparameter는 정해져 있지 않으며 problem-dependent한다고 한다.

Cross-validation & Split Datasets

📌 일반적으로 Dataset을 train-validation-test로 분리한다. 쉽게 train은 학습시키기 위해 test는 테스트하기 위해 사용된다. 그럼 validation은 무엇일까?

✔ validation은 Cross-validation이랑 엮어서 이해하면 쉽다. Cross-validation 특정 개수만큼 데이터셋을 분리해 위의 사진과 같이 분리된 train셋 하나를 테스트셋으로 놓고 특정 개수만큼 학습을 시킨다. 여기서 사용하는 테스트셋이 validation이다. 그러면 Cross-validation을 목적은 왜 하는것일까? 위에서 언급했듯이 Hyperparameter은 임의로 지정해줘야 한다. 그렇다면 일반적으로 어떤 Hyperparameter들이 최적의 Hyperparameter인지 알 수 없다. 우리는 Cross-validation 최적의 Hyperparameter를 찾을려고 노력하는 것이다.

Linear Classification

📌 위 사진은 강의 중 Linear classifiers와 Neural Network를 블럭 쌓기로 표현한다. 신선한 표현이라서 가지고 왔지만, 실상은 훨씬 더 어렵다느...느느...ㅠㅠ

Parametric Appoach

📌 Parametic classifier란 간단하게 train data의 정보가 가중치 W로 요약되어 있는 것이다.

📌 Linear Classification은 위의 사진과 같이 함수 F를 통해 특정 결과를 나타내는 것이다. 여기서 이전과 다른점은 W인데 일반적으로 Parameter or weights라고 불린다. 기존 K-NN에서는 따로 Parameter가 존재하지 않았다. Linear Classification에서 Parameter의 역활은 결과에 많은 영향이 미치기 때문에 좋은 결과를 위해선, 좋은 파라미터(?)가 필요하다.

📌 위의 사진에서 함수 f(x,W)가 기본적인 Linear Classification의 알고리즘라고 보면 된다. x는 input, W는 Parameter or weights, b는 bias라고 일반적으로 지칭한다. Linear Classification을 사용할 때(?) 중요한 점은 dimension이다. 일반적으로 행렬연산은 dimension이 일치하지 않으면 연산이 불가능하기에 항상 유념해야한다.

📌 위 아래 10가지의 흐릿한 사진들은 trained weights 값들이다. 사진을 보시다 싶이 어느정도 비슷한 부분이 있지만, 대부분 형태를 알아볼 수 없다.


📌 위 사진은 Linear Classification 한계점이다. Class 1,2번은 Pairty data, Class 3번은 Multimodel data라고 불린다. 위의 모든 사진들은 Linear한 선으로 구분할 수 없다. 하나의 선으로는 위 Classs들을 구분하기 불가능하다.