[ML] What is 'Kernels'?

Kernels

The kernel calculates the inner product of two vectors in a different space (preferably without explicitly representing the two vectors in the different space).

선형적으로 분류가 어려운 저차원 데이터를 고차원 공간으로 매핑하는 함수를 kernel function이라 합니다.

저차원 → 고차원 (mapping function)

선형적으로 풀 수 없는 문제를 커널 함수를 이용해서 고차원의 데이터로 변환하여 계산합니다.

$k(x_i, x_j) = \phi(x_i) * \phi(x_j)$

$\phi$는 mapping을 도와주는 function입니다.

input space와 feature space 사이를 매핑해주는 함수입니다.

kernel function의 종류로는 polynomial, gaussian, sigmoid kernel 등이 있습니다.

kernel은 non-linear decision boundary를 찾기 위해 이용하며, 학습 데이터를 잘 분류할 kernel 함수를 선택하여 이용합니다.

Reference

• Kernel-SVM