Deep Learning from Scratch

💡 파이썬(Python)이란? 오픈 소스라 무료로 자유롭게 이용 가능 자체의 뛰어난 성능에 넘파이(numpy)와 사이파이(SciPy)같은 수치 계산과 통계 처리를 다루는 탁월한 라이브러리가 더해져 데이터 과학 분야에서 널리 쓰임 ✔️ 파이썬 활용하기 1. 산술 연산

💡 퍼셉트론(Perceptron)이란? 신경망(딥러닝)의 기원이 되는 알고리즘 다수의 신호를 입력으로 받아 하나의 신호를 출력 위 그림은 입력으로 2개의 신호를 받은 퍼셉트론의 예시이다. >x1, x2 : 입력 신호 y : 출력 신호 > w1, w2 : 가중치 뉴

🌿 신경망 퍼셉트론에서 가중치를 설정하는 작업은 여전히 사람이 수동으로 해야했음 → 신경망은 가중치 매개변수의 적절한 값을 데이터로부터 자동으로 학습 아래 그림은 신경망의 예시 중 하나이다. 활성화 함수 activation function 입력 신호의 총합을 출

출력층 설계 어떤 문제를 푸느냐에 따라 출력층에서의 활성화 함수가 달라짐 > 기계학습 문제는 분류(classification) 와 회귀(regression) 로 나뉨 분류 : 데이터가 어느 클래스(class)에 속하느냐는 문제 (ex. 사진 속 인물의 성별 분류) 회

🌿 수치 미분 numerical differentiation 미분이란 ? 한순간의 변화량 x의 '작은 변화'가 함수 f(x)를 얼마나 변화시키는지를 의미 이때 시간의 작은 변화, 즉 시간을 뜻하는 h를 한없이 0에 가깝게 한다는 의미를 표현하기 위해 lim을 사용

💡 학습이란? 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것 신경망이 학습할 수 있도록 해주는 지표에는 손실함수가 있다 > 학습의 목표 : 손실 함수의 결괏값을 가장 작게 만드는 가중치 매개변수를 찾는 것 데이터로부터의 학습 신경망의 특징은 데

🌿 오차역전파법 가중치 매개변수의 기울기를 효율적으로 계산하는 방법 이를 제대로 이해하는 방법에는 두 가지가 있다 수식을 이용하는 방법 계산 그래프를 이용하는 방법 계산 그래프란 ⁉️ 계산 과정을 그래프로 나타낸 것 여기서 그래프는 그래프 자료구조로, 복수의 no

🌿 계층 (Layer) 계층이란 신경망의 기능 단위를 의미한다 이번 포스팅에서는 신경망을 구성하는 '계층'을 각각의 하나의 클래스로 구현해보고자 한다 ! ex ) 시그모이드 함수를 위한 Sigmoid, 행렬 곱을 위한 Affine등의 기능을 계층 단위로 구현 🔨

🌿 매개변수 갱신 신경망 학습의 목적은 손실 함수의 값을 가능한 한 낮추는 매개변수를 찾는 것 → 매개변수의 최적값을 찾는 것 이러한 문제를 푸는 것을 최적화(optimization) 이라고 한다 📍 확률적 경사 하강법(SGD) Stochastic Gradie

🌿 합성곱 신경망 Convolutional neural network, CNN CNN의 네트워크 구조 계층을 조합하여 CNN을 만듦 합성곱 계층(convolutional layer)과 풀링 계층(pooling layer)이 등장 완전연결 계층(Affine 계층)으

🌿 풀링 계층 풀링은 세로·가로 방향의 공간을 줄이는 연산 2x2 최대 풀링(max pooling) 을 스트라이드 2로 처리하는 순서는 다음과 같다. 최대 풀링은 최댓값을 구하는 연산 2x2는 대상 영역의 크기를 의미, 즉 2x2 크기의 영역에서 가장 큰 원소를 하