인공신경망
인공신경망의 개념
✔ 사람 두뇌의 신경세포인 뉴런이 전기신호를 전달하는 모습을 모방한 기계학습 모델이다.
✔ 인공신경망의 목적은 가중치를 알아내는 것이다.
✔ 입력값을 받아서 출력값을 만들기 위해 활성화 함수를 사용한다.
✔ 출력값을 만들기 위해 활성화 함수를 사용한다.
인공신경망의 구조
퍼셉트론
- 퍼셉트론은 인간의 신경망에 있는 뉴런의 모델을 모방하여 입력층, 출력층으로 구성한 인공신경망이다.
- 입력값, 가중치, 순 입력함수, 활성화 함수, 예측값(출력값)으로 구성되어 있다.
활성화 함수
✔ 인공신경망에서 입력 신호의 총합을 출력 신호로 변환하는 함수
✔ 입력 받은 신호를 얼마나 출력할지 결정하고, 다음 단계에서 출력된 신호의 활성화 여부를 결정하는 함수이다.
다층 퍼셉트론
✔ 다층 퍼셉트론에서는 활성화 함수로 시그모이드 함수를 사용한다.
✔ 입력층과 출력층 사이에 하나 이상의 은닉층을 두어 비선형적으로 분리되는 데이터에 대해 학습이 가능한 퍼셉트론이다.
✔ 입력층, 은닉층, 출력층으로 구성하고 역전파 알고리즘을 통해 다층으로 만들어진 퍼셉트론의 학습이 가능하다.
⭐⭐다층 퍼셉트론의 문제점⭐⭐
✔ 과대적합이 발생할 것으로 예상되면 학습을 종료하고 업데이트하는 과정을 반복해 과대적합을 방지할 수 있다.
✔ 과대적합은 분석 변수가 너무 많이 존재하고 분석 모델이 복잡할 때 발생한다.
✔ 분석 데이터가 모집단의 특성을 설명하지 못하면 발생한다.
✔ 생성된 모델은 분석 데이터에 최적화되었기 때문에 훈련 데이터의 작은 변화에 민감하게 반응하는 경우는 발생하지 않는다.
✔ 신경망에서는 많은 가중치를 추정해야 하므로 과대적합 문제가 빈번하다.
✔ 알고리즘의 조기 종료와 가중치 감소 기법으로 해결할 수 있다.
✔ 모형이 적합하는 과정에서 검증오차가 증가하기 시작하면 반복을 중지하는 조기종료를 시행한다.
✔ 선형모형의 능형회귀와 유사한 가중치 감소라는 벌점화 기법을 활용한다.
⭐⭐기울기 소실 문제⭐⭐
✔ 다층 신경망 모형에서 은닉층(hidden layer)의 개수를 너무 많이 설정하게 되면 역전파 과정에서 앞쪽 은닉층의 가중치 조정이 이루어지지 않아 신경망의 학습이 제대로 이루어지지 않는다. 이러한 현상을 나타내는 용어이다.
✔ 역전파 알고리즘은 학습하는 과정에서 출력층 -> 은닉층 -> 입력층 방향으로 편미분을 진행한다.
✔ 시그모이드 함수는 편미분을 진행할수록 0으로 근접해서 경사가 소실되는 문제점이 발생한다.
✔ 기울기 소실은 시그모이드 함수 대신 ReLU함수를 사용하여 문제를 해결함
