🔗강의 영상

목차

• Image Classification이란?
• image Classification algorithm
• Linear Classification

image classification에 대해

컴퓨터가 이미지를 보는 로직

• 우리는 이 사진을 보고 고양이라고 바로 인식하지만 컴퓨터는 실제로 숫자들의 나열로 인식한다.
  조금의 변화가 있어도 이 숫자의 나열은 많이 달라진다.

  카메라 위치
  고양이의 포즈
  밝기

cv의 목표

어떤 변화가 있어도 고양이 사진을 고양이로 인식하고 분류할 수 있어 한다.

image Classification algorithm

특징점 찾기

초기에는 edge(물체의 테두리)를 추출하고 귀의 모양, 눈,코,입 등의 특징이 되는 부분을 찾아서 물체를 분류(이 사진 고양이라고 판별)하는 연구를 했다.

• 단점
  • 변화에 강인(robust)하지 않아서 결과가 잘 도출되지 않는다.
    - 변화에 강인하다: 알고리즘이 외부 환경의 변화나 입력 데이터의 변동에도 안정적인 성능을 유지할 수 있다. 즉, 특정 조건이나 변화에 취약하다.
  • 강아지, 집 등 다른 각각 물체를 인식할 때 그 물체에 대한 특징을 각각 추출하는 방식이 비효율적이다.

k근접 이웃 알고리즘 (K-Nearest Neighbor Algorithm)

데이터 중심 접근 방법

가까운 이웃 k개를 찾고 투표를 통해 가장 많은 레이블로 예측. k가 증가할수록 점차 경계가 부드러워지는 모습을 보인다.

• K-Nearest Neighbor Algorithm에서 사용하는 Distance Metric

• L1: 맨하탄 거리
  • 절대값
  • 특정 벡터가 개별적인 의미를 가지고 있을 때 유용하다.

• L2: 유클리디안 거리
  • 제곱합
  • 그 외의 일반적인 경우 사용

L1은 좌표계가 회전하면 변하고 L2는 좌표계랑 독립적이다.

L1의 경우 region에서도 좌표축에 영향 받고 있다. L2의 boundary가 더 부드럽다.
knn에 다양한 거리 척도를 적용하면 이미지 외에도 텍스트 등 다양한 데이터를 다룰 수 있다. (두 문장 거리 비교)

하이퍼 파라미터

하이퍼 파라미터 정하는 기준

데이터를 train, validation, test용으로 분리, 하이퍼파라미터값을 바꿔가면서 train 데이터를 학습시킨다. validation data로 검증, 가장 좋았던 하이퍼파라미터를 선택, 테스트 셋은 가장 좋은 clasifier를 한번만 수행한다.
이렇게 validation/test 데이터를 분리하는 이유: 실제 데이터에 맞닥뜨렸을 때 발생하는 문제를 예방하기 위함이다.

cross validation

한 번 나누어서 학습하는 것에 비해 일반화된 성능을 얻을 수 있다
실제로 이미지 분류에 잘 쓰진 않는다.

K-Nearest Neighbor Algorithm의 단점

• 테스트 시간이 느림.
• L1, L2 거리가 이미지 사이의 거리를 측정하기에 좋은 방법이 아님.
• 차원의 저주에 빠지기 쉬움.

Linear Classification (선형 분류)

• neural network과 cnn의 기반이 되는 알고리즘.
• Parametric model의 기초가 됨.
  • Parametric model이란?

사진에서 x: 입력 이미지, W: parameter
knn는 파라미터 안 쓰고 전체 트레이닝 셋을 다 비교하는 반면, parametric 접근법은 train 데이터의 정보를 요약해서 파라미터 W에 모아준다.

train data의 요약 정보가 포함된 W를 사용하면 되기 때문에 더이상 test를 거치지 않아도 된다.
딥러닝이란 여기서 이 함수 f(x)를 잘 설계하는 일이다.

f(x,W) = W*x+b의 메커니즘

- argument 설명

2x2인 input 이미지를 4x1로 변형시킨다. 실제로 보여지는 픽셀 위치는 계산할 때 중요하지 않다. 편하게 계산하기 위해 일렬로 세운다.
w(가중치): 한 픽셀이 각 클래스에 얼마나 많은 영향을 미치는지에 관한 수치. w의 크기 = (클래스 종류x한 열로 세운 input 이미지 길이)
위 사진에서 1.1, 3.2, -1.2 값의 1x3 box는 b(bias, 편향 값)이다. 전체 data set에 개 사진이 많아서 개로 더 많이 분류되는 편향을 보이므로 개의 값이 가장 높게 설정된 듯하다.

- 계산 방법

W*x: 각 클래스별 w값을 모든 픽셀 값에 스칼라 곱셈을 해준다.
ex) 고양이 점수를 계산: w 값 중, 주황색(0.2, -0.5, 0.1, 2.0)을 x값(56,231,24,2)에 곱해준다. 11.2,-115.5,2.4,4.0가 나온다. 이 값을 모두 합해주면 -97.9다.
각 클래스에 +b를 한다.
아까 도출한 -97.9에 [1.1, 3.2, -1.2] 중, 고양이 클래스의 b값인 1.1을 더해주면 -96.8이 도출된다.

- 단점

위 사진의 영역은 선형 분류가 어렵다.

• parity problem(반전성 문제): 홀,짝 분류
• multimodal problem: 한 클래스가 다양한 공간에 분포