[ML] Study

Intro

머신러닝을 공부하며 On-Demand로 지식을 습득하다 보니 산발적인 만큼이나 머리에서 쉽게 사라지곤 하는 것 같다. 그래서 사소한 것들일지 몰라도 공부한 것들을 글로 적어 남겨보고자 한다.

Definitions

1) 편향 (bias)

뉴런이 얼마나 쉽게 활성화하느냐를 조정하는 매개변수이다.
가령 1이나 0의 두 가지 값을 가질 수 있는 퍼셉트론이 있다면 편향은 뉴런이 얼마나 쉽게 1을 출력하느냐를 조정한다.

2) 신경망

머신러닝에서 신경망은 입력층, 은닉층, 출력층을 가진다. 은닉층의 뉴런은 입력층과 출력층과는 달리 사람 눈에 보이지 않는다.
여러 층으로 구성된 신경망은 N층 신경망이라고 불리는데, 이때 N은 가중치를 가지는 층만을 의미하는 경우도 있고 구성하는 층 전부를 의미하는 경우도 있다고 한다.

3) 활성화 함수 (activation function)

활성화 함수는 입력 신호의 총합을 출력 신호로 변환하는 함수이다.
즉, 이름이 말해주듯 활성화 함수는 입력 신호의 총합이 활성화를 일으키는지를 정하는 역할을 한다.
활성화 함수의 종류는 여러가지가 있다.

1. 계단 함수 (step function)
   활성화 함수 중 임계값을 경계로 출력이 바뀌는 함수를 계단 함수라 한다.
   그래서 "퍼셉트론에서는 활성화 함수로 계단 함수를 이용한다." 라는 표현을 사용할 수 있다.
   계단 함수를 구현하여 그래프로 나타내면, 특정 값을 경계로 출력이 갑자기 변화하는 것을 볼 수 있다.

2. 시그모이드 함수 (sigmoid function)
   시그모이드 함수의 그래프는 부드러운 곡선이며 입력에 따라 출력이 연속적으로 변화한다.

3. ReLU (Rectified Linear Unit, 렐루) 함수
   렐루 함수는 입력이 0을 넘으면 그 입력을 그대로 출력하고, 0 이하이면 0을 출력하는 함수이다.

4) 선형 함수와 비선형 함수

활성화 함수를 설명할 때 비선형 함수와 선형 함수라는 용어가 자주 등장한다.

1. 선형 함수
   선형 함수는 입력했을 때 출력이 입력의 상수배 만큼 변하는 함수를 의미한다.
   수식으로는 f(x) = ax + b 로 나타낼 수 있으며, 이때 a와 b는 상수이다.

2. 비선형 함수
   비선형 함수는 문자 그대로 '선형이 아닌' 함수이다. 즉, 직선 1개로는 그릴 수 없는 함수를 말하며 앞서 언급한 계단 함수와 시그모이드 함수가 이에 해당한다.