신경망의 구조
네트워크를 구성하는 층
입력 데이터와 타겟
학습에 사용할 피드백 신호를 정의하는 손실함수
학습 진행 방식을 결정하는 옵티마이저
층 (Layer)
하나 이상의 텐서를 입력으로 하나 이상의 텐서를 출력하는 데이터 처리 모듈
대부분의 경우 가중치라는 층의 상태를 가짐
가중치는 경사하강법에 의해 학습되는 하나 이상의 텐서
네트워크가 학습한 지식이 담겨있음
모델 (Model)
층으로 만든 비순환 유향 그래프(Directed Acyclic Graph)
(그래프의 방향이 있고 한 노드에서 자기 자신으로 돌아오는 경로는 없음)
손실 함수 (Loss Function)
신경망의 성능을 측정하는 방법
네트워크가 옳은 방향으로 학습될 수 있도록 지원
훈련하는 동안 최소화될 값
주어진 문제에 대한 성공 지표
옵티마이저 (Optimizer)
입력 데이터와 손실 함수를 기반으로 네트워크를 업데이트하는 메커니즘
손실 함수를 기반으로 네트워크가 어떻게 업데이트될 지 결정
여러 출력을 내는 신경망은 여러 손실 함수를 가질 수 있음
경사하강법 과정은 하나의 스칼라 손실 값을 기준
손실이 여러개인 네트워크에서는 모든 손실이 하나의 스칼라로 합쳐짐
텐서 (Tensor)
데이터를 위한 컨테이너
신경망은 텐서 연산의 연결로 구성됨
모든 텐서 연산은 입력 데이터의 기하학적 변환
모델의 학습 방식
y = Wx + b
W(가중치, Weight)와 b(편향, Bias)는 초기에 난수로 채워져 있음
피드백 신호에 기초하여 가중치가 점진적으로 조정됨 (훈련)
입력과 이에 상응하는 출력의 배치(batch) 추출
입력을 사용하여 네트워크 실행, 예측 출력을 구함
실제 출력과 예측 출력의 차이를 측정, 이 배치에 대한 네트워크 손실을 계산
손실이 조금이라도 감소되도록 네트워크의 모든 가중치를 업데이트
