인공신경망과 생물신경망
사람의 뉴런
두뇌의 가장 작은 정보 처리 단위
구조
세포체는 간단한 연산
수상돌기는 신호 수신
축삭은 처리 결과를 전송
사람은 10^11개 정도의 뉴런을 가지며, 각 뉴런은 약 1000개의 다른 뉴런과 연결되어 10^14개 연결을 가짐
두 줄기 연구의 동반상승 효과
컴퓨터 과학 : 컴퓨터의 계산, 연산 능력의 획기적 발전
뇌 과학 : 뇌의 정보처리 방식 규명 연구
컴퓨터가 사람 뇌의 정보처리를 모방하여 지능적 행위를 할 수 있는 인공지능 도전, 뉴런의 동작 이해를 모방한 초기 인공 신경망artificial neural networks 연구 시작
사람의 신경망과 인공신경망 비교
세포체 : 노드
수상돌기 : 입력
축삭 : 출력
시냅스 : 가중치
inputs(이전 층의 단위들) -> weights(연결세기) -> transfer function(다음 층의 단위) -> activation function(다음층 단위의 출력), threshold에 비교
신경망의 종류
인공신경망은 다양한 모델이 존재함
전방 신경망과 순환 신경망
얕은 신경망과 깊은 신경망 : 입력층과 출력층 사이의 은닉층의 양
결정론 신경망과 확률론적 신경망 비교
결정론 신경망 : 모델의 매개변수와 조건에 의해 출력이 완전히 결정되는 신경망
확률론적 신경망 : 고유의 임의성을 가지고 매개변수와 조건이 같더라도 다른 출력을 가지는 신경망
다양한 신경망 구조
어떻게 배치할 것인가에 따라 다양한 구조가 가능하다
퍼셉트론
구조 : 절node, 가중치weight, 층layer과 같은 새로운 개념의 구조 도입
제시된 퍼셉트론 구조의 학습 알고리즘을 제안
원시적 신경망이지만, 깊은 인공신경망을 포함한 현대 인공신경망의 토대, 깊은 인공신경망은 퍼셉트론의 병렬 배치를 순차적 구조로 결합함
-> 현대 인공신경망의 중요한 구성 요소가 됨
퍼셉트론의 구조
기본적으로 xi에 wi를 곱하고 각각의 인풋들을 다 더하여 s를 계산한다. 이후 시그모이드 함수와 같은 활성함수에 s를 넣어서 threshold를 만든다. 다만 함수의 절편을 가지기 위해서 x0=1, w0=b로 편향bias을 가진다.
퍼셉트론의 동작
선형 연산(가중치의 합) -> 비선형 연산(활성함수를 적용)
이를 수식으로 간단하게 표현하면 y = T(S)이다.
T(S) = 1(S>=0), -1(S<0)이다.
y = T(W^TX)라고도 정리할 수 있다.
결정직선
w1x1 + w2x2 + w0 = 0이라는 방정식을 생각해보면
이 방정식은 S의 값이 0이 되는 값들의 x1, x2를 모아놓은 중요한 의미를 가지는 방정식이 된다.
2차원에서는 결정직선이 되고, 3차원에서는 결정평면, 4차원 이상에서는 결정 초평면decision hyperplane이 된다.
퍼셉트론의 학습
일반적인 분류기의 학습 과정
과업 정의와 분류 과정의 수학적 정의
해당 분류기의 목적 함수 정의J(w)
J(w)를 최소화 하는 w를 찾기 위한 최적화 방법 수행
목적함수의 정의
J(w) >= 0이다.
w가 최적의 경우가 된다면 J(w)가 0이 된다.
학습
경사하강법gradient descent
기울기를 이용하여 반복탐색하여 극값을 찾음
델타규칙 : wi+1 = wi + learningrate * 미분J(wi)
