딥러닝 교과서
1.[DL] 순방향 신경망(feedforward neural network)
순방향 신경망(feedforward neural network)은 다층 퍼셉트론의 다른 이름으로 인공 신경망 모델 중 가장 기본이 되는 모델이다.순방향 신경망은 Universal Approximation Theorem을 통해 n 차원 공간의 연속 함수를 근사할 수 있다
2.[DL] 회귀 모델 (Regression Model)
이번 포스팅은 머신러닝의 지도학습 중 분류와 회귀로 나뉘는 개념 중 회귀에 대해 간단히 정리해보려고 합니다.분류 문제는 범주형 데이터를 예측하는 문제이며, 회귀 문제는 숫자형 데이터를 예측하는 문제입니다.회귀 문제는 여러 독립 변수와 종속 변수의 관계를 연속 함수 형태
3.[DL] 입력 계층(Input layer)
순방향 신경망의 입력 계층은 입력 데이터를 벡터 형태로 받아서 다음 계층에 전달하는 역할을 합니다.따라서 입력 데이터의 크기가 n개인 벡터라면 입력 계층은 n개의 뉴런으로 정의됩니다.예를 들어, 다음과 같이 정의된 자동차 연비를 예측한다면,크기가 9인 1차원 벡터 $x
4.[DL] 활성 함수(activation function)
hidden layer를 설계할 때 선택할 수 있는 활성 함수는 매우 다양합니다.활성 함수는 크게 sigmoid 계열과 구간 선형 함수로 정의되는 ReLU(Rectified Linear Unit) 계열로 구분할 수 있습니다.시그모이드 계열은 sigmoid, $tan h
5.[DL] 신경망 학습과 최적화(optimization)
개념 내용과 이미지 출처: 딥러닝 교과서신경망을 이용하여 집값을 예측한다고 가정해봅시다.신경망에는 집값 예측을 위한 '방의 수, 면적, 집 종류, 역과의 거리'와 같은 입력 데이터와 모델이 예측해야 할 '집값' 데이터인 타깃 데이터가 제공될 뿐, 추론을 위한 규칙은 제
6.[DL] 경사하강법(Gradient Descent)
개념 내용, 이미지 출처: 딥러닝 교과서신경망 최적화 알고리즘은 대부분 경사 하강법에서 확장된 형태입니다! 신경망의 기본 알고리즘으로 경사하강법을 채택한 이유와 최적화 원리를 살펴보도록 하겠습니다.신경망의 손실 함수는 차원이 매우 높고 복잡한 모양을 갖고 있습니다.손실
7.[DL] 역전파 알고리즘(backpropagation algorithm)
이번 글은 오차 역전파 알고리즘(backpropagation algorithm)에 대해 공부하고 정리해보도록 하겠습니다.신경망에서 경사 하강법을 적용할 때 손실 함수에서 각 가중치까지 신경망의 역방향으로 실행했던 함수를 따라가며 미분을 계산해서 곱했습니다. 만일 이 과
8.[DL] 손실 함수(loss function) 정의 - MAE, MSE, MLE
요즘은 공부 벌레🐛가 되고 싶은... 부족한 딥러닝 지식을 채우기 위해 고군분투 중...🥺📚 딥러닝 교과서, 출판사: 이지스 퍼블리싱🔗 https://mizykk.tistory.com/102챕터 3에서는 회귀 모델과 분류 모델을 학습하기 위한 최적화 문
9.[DL] 딥러닝 교과서 2, 3단원 요약(순방향 신경망, 신경망 학습)
공부 벌레🐛가 되자! 📕 딥러닝 교과서, 출판사: 이지스 퍼블리싱📙 밑바닥부터 시작하는 딥러닝, 출판사: 한빛미디어딥러닝 교과서를 1단원부터 3단원까지 보았습니다.흐름은 개요부터 시작해서 순방향 신경망(feedforward neural network), 신경망 학
10.[DL] 최적화 알고리즘 - SGD, Momentum, Nesterov momentum, AdaGrad
공부 벌레🐛가 되자!계속 볼수록 익숙해져야 하는 개념이 계속 볼수록 잘 모르겠는 경우가 생긴다.🤔 저번주 최적화 알고리즘까지 공부를 마치고 다시 처음부터 되돌아 가서 공부했다. 오늘 다시 공부하고 정리하게 될 최적화 알고리즘이 제발 내 뇌(🧠)에 들어오길 🤦♀
11.[DL] 최적화 알고리즘 - RMSProp, Adam
공부 벌레🐛가 되자!어제 최적화 알고리즘을 공부 중이라 하니까 어차피 Adam만 쓰는데, 굳이 다 알아야 하냐 라는 말을 들었습니다. 하지만 최근에 계속 쓰는 Adam까지 결국 왔다는 것...! 그러니까 일단 킵고잉👊그전의 $optimizer$을 보고 싶다면최적화
12.[DL] 가중치 초기화(Weights Initialization)
📚 딥러닝 교과서, 출판사: 이지스 퍼블리싱🔗 신경망을 학습할 때 손실 함수의 어느 위치에서 출벌해야 최적해가 있는 곳으로 더 쉽고 빠르게 도달할 수 있을까요?최적해 근처에서 출발한다면 더 빨리 되겠지만, 최적해가 어디 있는지 모르는 상태에서 어디서 출발하는게 가장
13.[DL] 정규화(Regularization)
저는 참고 자료에 적힌 책을 바탕으로 개념을 정리하고 있습니다. 해당 파트는 5-2에 해당도비니다.📚 딥러닝 교과서, 출판사: 이지스 퍼블리싱신경망 학습할 때는 최적화에 좋은 위치에서 출발하도록 추기화를 잘하는 것과 최적해로 가는 길을 잘 찾을 수 있도록 정규화(Re
14.[DL] 조기 종료(early stopping)
저는 참고 자료에 적힌 책을 바탕으로 개념을 정리하고 있습니다. 해당 파트는 5-5에 해당됩니다.📚 딥러닝 교과서, 출판사: 이지스 퍼블리싱조기 종료(early stopping)는 모델이 과적합되기 전 훈련을 멈추는 정규화 기법입니다.훈련 성능과 테스트/검증 성능을
15.[DL] 데이터 증강(Data augmentation)
저는 참고 자료에 적힌 책을 바탕으로 개념을 정리하고 있습니다. 해당 파트는 5-6에 해당됩니다.📚 딥러닝 교과서, 출판사: 이지스 퍼블리싱모델은 복잡한데 비해 그만큼 충분한 데이터가 제공되지 않으면 모델이 데이터를 암기해 버리는 상황이 발생합니다.이런 경우 과적합이