밑바닥부터 시작하는 딥러닝

chapter 2. 퍼셉트론 퍼셉트론(perceptron) : 신경망(딥러닝)의 기원이 되는 알고리즘. 퍼셉트론의 구조를 배우는 것은 신경망과 딥러닝으로 나아가는데 중요한 아이디어를 배우는 일이다. 2.1 퍼셉트론이란? 다수의 신호를 입력으로 받아 하나의 신호를 출력한다. 이 때 신호는 전류나 강물처럼 흐름이 있는 것. 신호도 흐름을 만들고 정보를 ...

chapter3 신경망 3.1 신경망이란? 신경망.png 입력층이나 출력층과 달리 은닉층의 뉴런은 사람 눈에는 보이지 않는다. 0층을 입력층, 1층을 은닉층, 2층을 출력층이라 한다. 위의 그림 속 신경망은 3층으로 구성되어있지만 가중치를 갖는 층이 2개이기 때문에 2층 신경망 이라고 한다. 활성화 함수(activateion function) : 입력...

Chapter 7. 합성곱 신경망(CNN) 7.1 전체 구조 CNN에서는 새로운 합성곱 계층과 풀링 계층이 추가된다. CNN 계층은 conc-relu-pooling 흐름으로 연결된다. 여기서 중요한 것은 출력에 가까운 층에서는 affine-relu 구성을 사용할 수 있다. 7.2 합성곱 계층 CNN에서는 패딩, 스트라이드 등 CNN 고유의 용어가 등...

chapter8 딥러닝 8.1 더 깊은 신경망 8.1.1 손글씨 숫자를 인식하는 심층 CNN 손글씨심층CNN.png 3*3의 작은 필터를 사용한 합성곱 계층(Conv) 활성화 함수(ReLU) 풀링 계층 추가해 중간 데이터의 공간 크기를 줄여나감 완전연결 계층 뒤에 드롭 아웃 계층 사용 완전 연결 신경망이란, 인접하는 계층의 모든 뉴런과 결합되어 있는 ...

밑바닥부터 시작하는 딥러닝 5 오차역전파법 수치 미분은 단순하고 구현하기도 쉽지만 계산 시간이 오래 걸린다는 게 단점이다. 가중치 매개변수의 기울기를 효율적으로 계산하는 오차역전파법 backpropagation 을 배워보자. 오차역전파법을 제대로 이해하는 방법은 두 가지가 있다. 수식을 통한 것 계산 그래프를 통한 것 5.1 계산 그래프 계산...

학습할 내용들: 매개변수 갱신, 가중치의 초깃값, 배치 정규화, 오버피팅, 하이퍼파라미터 최적화 매개변수 갱신 우리는 항상 손실함수의 값을 가능한 낮추는 매개변수를 찾는 것이 목표이고, 이러한 것을 최적화 라고 한다. 앞서 역전파오류법에서 최적의 매개변수 값을 미분을 이용하는 확률적 경사 하강법(SGD)을 이용했다. 확률적 경사 하강법(SGD) 수...

4.1 데이터에서 학습한다! 4.1.1 데이터 주도 학습 기계학습이란 데이터에서 답을 찾고 데이터에서 패턴을 발견하고 데이터로 이야기를 만드는 것이다. image.png 만약 5를 인식하고 싶다면 이미지에서 특징을 추출하고 그 특징의 패턴을 기계학습 기술로 학습하는 방섭이 있다. 여기서의 특징이란, 입력 데이터에서 본질적인 데이터를 정확하게 추출할 수...