신경망을 이루는 가장 기본이 되는 단위 - 여러개의 입력을 받아 하나의 출력을 하는 신경세포 뉴런과 유사
label을 분류하거나 원하는 예측값을 찾기 위한 퍼셉트론의 학습은 그를 파악해 올바르게 분류하는 가중치 및 편향을 구하는 것.
퍼셉트론의 기본 연산 구조를 수식으로 표현하면 아래와 같다.
)
노드에 대한 중요도를 표현하는 것으로 입력 데이터에 노드 별 비중을 크거나 작게 둠으로써 곱해지는 값을 달리한다.
일반적으로 W로 표기하며, 해당 layer에서의 일종의 흐름을 만드는 필터 역할을 한다.
노드의 민감도를 조정하거나 활성화를 조정하는 역할을 한다. 가중치 만으로 세밀한 조정이 되지 않은 부분에서 편향을 주어 조정이 가능하다.
경우에 따라 활성화를 조정할 때에도 사용이 된다. 약간의 편향 조정을 통해 연산의 결과가 함수를 활성화하는 조건에 부합하도록 만드는 방법.
입력변수에 가중치와 편향을 고려한 모든 값을 더한 선형결합 값을 비선형으로 변환하는 함수(Nonlinear Transformation)
이진분류: sigmoid함수사용 - 0~1까지의 label의 확률을 파악해 예측
다중 분류: softmax함수사용 - 연산한 값을 확률로 확인이 가능하도록 하는 함수. 전체 label 중 특정 label일 확률을 파악하는 방법.
회귀 문제: 일반적으로 활성화 함수를 사용하지 않는다. 예측값을 그대로 사용하면 되기 때문.
그 외: ReLU, Leaky ReLU 등 여러 함수를 상황에 맞게 사용가능