Learning from Examples(3)(AI-18-3)

김유찬·2023년 5월 29일
0

인공지능

목록 보기
9/12
post-thumbnail

■ Artificial Neural Networks (인공 신경망)

■ Neural Network Structures(신경망 구조)


-NN: 뉴런들과 뉴런들을 연결하는 링크 구조
-Unit: 입력 함수(각각의 입력 * 가중치) -> 활성 함수(입력 함수) -> output

  • Activation function g
    -hard threshold: Trehshold Unit(Perceptron)
    -logistic function: Sigmoid Unit
    -뉴런 하나는 곧 하나의 직선함수, 여러 개를 연결하면 신경망이 됨

  • Network structure
    -Feed Forward Network: 입력에서 출력까지 앞으로 전달되는 방식 / 완전 연결(하나의 입력이 다음 계층의 모든 뉴런에 연결되어 있음, fully connected)
    -Recurrent Network: 순환 구조, 출력이 앞으로만 전달되는 것이 아니라 앞으로 갈 수 있는 경우, 이전에 있던 정보를 기반하는 성질을 가짐

  • Feed-forward network(전향 신경망)
    -입력 계층: 단지 입력이 들어오는 단자 역할
    -은닉 계층: 실제 데이터가 처리되는 부분
    -출력 계층: 결과
    -단층인 경우에는 실제로 뉴런은 출력층뿐임
    -밖에서 봤을 때 중간은 노출되지 않음(은닉 계층)

■ Single-Layer Feed-Forward NNs

  • Perceptron network (퍼셉트론 망, 단일 계층 신경망)
    -링크마다 가중치 존재, 가중치 값을 학습을 통해서 알아내려고 함
    -단층인 경우에 각 출력에 있어 다른 output들이 독립적임, 서로 영향을 주지 못함
    -사실상 3,4는 선형 모델과 같음 / hard threshold냐 sigmoid냐에 따라서만 학습 규칙이 다름

  • Learning rules(학습 규칙, 가중치 갱신 규칙)
    -Perceptron learning rule for threshold units: 미분 불가능한 불연속
    -Chain learning rule for sigmoid units: 미분하기 좋은 연속
    -둘 중 무엇을 사용하느냐에 따라 activation function이 달라짐
    -직선 하나를 찾는 경우는 뉴런 하나로 모두 가능

■ Multilayer Feed-Forward NNs

  • Limitation of a single Perceptron or a single-layer network
    -직선(선형), 초평면 등만 가능
    -비선형은 불가능

  • Multilayer feed-forward neural networks (다 계층 신경망)
    -비선형 결정 경계를 찾을 수 있음
    -layer가 깊어질수록 데이터는 더 비선형적으로 복잡하게 만들어짐

  • Backpropagation Algorithm(역-전파 알고리즘)

    -간단하게 말해 입력 순-전파와 오류 역-전파의 반복
    -난수로 가중치 초기화
    -입력 계층에 신호 입력 -> 입력 신호 순-전파 -> 출력 계층(출력 예측치)에서 오류 계산
    -오류 역-전파: 5,6에서 나온 오류를 통해 3,4의 오류가 얼마인지를 계산하는 방법 / 5에서 발생하는 오차는 3,4에게도 책임이 있음 -> 5에서 오류를 나누어줄때도 가중치를 나눠서 줌(3: w3,5 , 4: w4,5)
    -각각의 오차만 있으면 공식에서 각 뉴런들은 독자적으로 weight를 고치는 공식을 적용할 수 있음 -> 가중치 갱신

profile
eukddan

0개의 댓글