< 학습을 하면서 지속적으로 업데이트 할 예정 >
퍼셉트론 : 다수의 입력신호를 받아서 하나의 출력신호를 내는것을 말한다.
가중치 : Weight(W)라고 영어로 표기하며, 입력신호가 뉴런에 보내질때 가중치를 곱해준다.
편향 : bias라고 표기하며, 입력신호가 가중치와 곱해지고 bias와 더해져서 뉴런으로 보내진다.
임계값 : 입력신호에서 가중치가 곱해지고 편향이 더해져서 뉴런에 전달 되었을때, 정해진 임계값을 넘으면 해당 신호를 정상적으로 전달해 준다.
활성 함수(Activation function) : 입력신호의 총합을 출력 신호로 변환하는 함수, 만약에 활성함수가 없으면 노드들이 선형적으로 결합이 되기 때문에 신경망의 효과를 볼 수 없다.즉, 비선형이 모양이어야 복잡한 형태의 학습이 될 수 있다.(비선형으로 만들어야 하기 때문에 활성함수가 그 역할을 수행한다. )
- 시그모이드 함수(sigmoid) : 함수값이 0과 1사이에 있으며, 미분이 가능하다는 장점이 있다. 하지만, 양 끝부분은 기울기가 0에 가까워서 미분 계산에 어려움이 있는 단점이있다.
- 렐루 함수(ReLU) : 시그모이드 보다 수렴이 빠르다, 양쪽이 선형이고, 0이하는 0으로 치환하는 모양이다. 하지만, 음수값이 많이 나오게 되면 0이 곱해지면서 파라미터 업데이터가 안될 수 있다.
- 소프트맥스 함수(softmax) : 주로 아웃풋에 많이 사용된다., 전체 클래스에 대한 확률이기 때문에 전체 클래스의 확률의 합은 1이다.(정규화 된다), 이에 반해 시그모이드는 각각의 클래스에 대한 확률을 나타낸다. 따라서 클래스가 다수일때는 소프트맥스함수를 주로 사용한다.
시그모이드 / 소프트맥스 차이 비교
<시그모이드> <소프트맥스>
Dog <50%> Dog <49%>
Cat <40%> Cat <20%>
bird <45%> bird <31%>
- 대소의 자체가 변하지는 않는다.
- 시그모이드는 각 클래스의 확률을 표현한 반면 소프트맥스는 모든클래스를 100%로 두고 각 클래스별 %를 나타낸다.
출력층 뉴런 수 : 분류의 경우 분류하고자 하는 클래스의 수
입력층 뉴런 수 : 특징 수
신경망 학습 : 먼저 순전파를 시키고 마지막 출력층을 통과한 값과 이 데이터의 타겟값을 비교하여 CostFunction을 계산한다. 여기서 구한 CostFunction을 최소화하는 가중치 값을 찾는것이 신경망에서의 학습이다. 이를 찾기 위해서는 역전파를 활용하여 가중치를 변경해 줄 수 있다.
역전파 : 출력층에서 입력층 방향으로 미분값을 계산하여 가중치 업데이트를 함으로서 신경망을 학습시키는 알고리즘
