profile
AI Researcher 가 되고 싶어요
post-thumbnail

[DL] 최적화 알고리즘 - RMSProp, Adam

공부 벌레🐛가 되자!어제 최적화 알고리즘을 공부 중이라 하니까 어차피 Adam만 쓰는데, 굳이 다 알아야 하냐 라는 말을 들었습니다. 하지만 최근에 계속 쓰는 Adam까지 결국 왔다는 것...! 그러니까 일단 킵고잉👊그전의 $optimizer$을 보고 싶다면최적화

2일 전
·
0개의 댓글
post-thumbnail

[DL] 최적화 알고리즘 - SGD, Momentum, Nesterov momentum, AdaGrad

공부 벌레🐛가 되자!계속 볼수록 익숙해져야 하는 개념이 계속 볼수록 잘 모르겠는 경우가 생긴다.🤔 저번주 최적화 알고리즘까지 공부를 마치고 다시 처음부터 되돌아 가서 공부했다. 오늘 다시 공부하고 정리하게 될 최적화 알고리즘이 제발 내 뇌(🧠)에 들어오길 🤦‍♀

3일 전
·
0개의 댓글
post-thumbnail

[DL] Dropout (드롭아웃) regularization

드롭아웃의 방식은 신경망의 각각의 층에 대해 노드를 삭제하는 확률을 설정하는 것입니다.삭제할 노드를 랜덤으로 선정 후 삭제된 노드의 들어가는 링크와 나가는 링크를 모두 삭제합니다.그럼 더 작고 간소화된 네트워크가 만들어지고 이때 이 작아진 네트워크로 훈련을 진행하게 됩

4일 전
·
0개의 댓글
post-thumbnail

[DL] Regularization(정규화), Weight Decay

💻 Regularization (C2W1L04)💻 Why Regularization Reduces Overfitting (C2W1L05)위의 그림을 보면 z가 작을 때 $g(z)$는 선형 함수가 되고, 전체 네트워크도 선형이 되기에 과대적합과 같이 복잡한 결정을

4일 전
·
0개의 댓글
post-thumbnail

[혼공머] 손실 함수(loss function), 조기 종료(early stopping), hinge loss

👩‍🔬 이번에는 혼공머 책의 챕터 4-2 파트입니다.📚 혼자공부하는머신러닝+딥러닝, 한빛미디어🔗 서포트 벡터머신, SVM - (2)확률적 경사 하강법(SGD)미니배치 경사 하강법(Minibatch gradient descent)배치 경사하강법(Batch grad

6일 전
·
0개의 댓글
post-thumbnail

[혼공머] 배치와 미니 배치, 확률적 경사하강법

👩‍🔬 이번에는 혼공머 책의 챕터 4-2 파트입니다.📚 혼자공부하는머신러닝+딥러닝, 한빛미디어📄 Gradient Descent - 경사하강법, 편미분, Local Minimum📑 경사하강법(Gradient Descent)🔗 배치와 미니 배치, 확률적 경사하강

6일 전
·
0개의 댓글
post-thumbnail

[혼공머] Logistic Regression(로지스틱 회귀)

공부 벌레🐛 되려다 머리가 터지려는 요즘...🤯📚 교재: 혼자 공부하는 머신러닝+딥러닝🔗 로지스틱 회귀🔗 로지스틱 회귀분석의 원리와 장점🔗 위키백과 - 로지스틱 회귀저는 위 교재 흐름을 바탕으로 개념 정리 중입니다.이번 포스팅은 챕터 4-1 로지스틱 회귀에

6일 전
·
0개의 댓글
post-thumbnail

[DL] 딥러닝 교과서 2, 3단원 요약(순방향 신경망, 신경망 학습)

공부 벌레🐛가 되자! 📕 딥러닝 교과서, 출판사: 이지스 퍼블리싱📙 밑바닥부터 시작하는 딥러닝, 출판사: 한빛미디어딥러닝 교과서를 1단원부터 3단원까지 보았습니다.흐름은 개요부터 시작해서 순방향 신경망(feedforward neural network), 신경망 학

2022년 1월 14일
·
0개의 댓글
post-thumbnail

[DL] 손실 함수(loss function) 정의 - MAE, MSE, MLE

요즘은 공부 벌레🐛가 되고 싶은... 부족한 딥러닝 지식을 채우기 위해 고군분투 중...🥺📚 딥러닝 교과서, 출판사: 이지스 퍼블리싱🔗 https://mizykk.tistory.com/102챕터 3에서는 회귀 모델과 분류 모델을 학습하기 위한 최적화 문

2022년 1월 13일
·
0개의 댓글
post-thumbnail

[혼공머] feature engineering, 다중 회귀, Ridge, Lasso

공부 벌레가 되고 싶은 🐛 평범한 사람의 혼공머 챕터 3-3 정리 글입니다.📕 교재: 혼자 공부하는 머신러닝+딥러닝🔗 회귀 모델의 종류와 특징우리가 다룰 데이터는 특성(feature) 값이 하나가 아니라 여러 개일 확률이 더 높겠죠.이렇게 여러 개의 특성을 사용한

2022년 1월 12일
·
0개의 댓글
post-thumbnail

[혼공머] Linear Regression(선형 회귀, 다항 회귀), 모델 파라미터

공부 벌레가 되고 싶다...🐛참고한 교재의 chapter 3-2에 해당됩니다.참고 자료📕 교재: 혼자 공부하는 머신러닝+딥러닝💻 유튜브 강의: https://youtu.be/0mrLRkgbjA0🔗 Linear Regression 온라인 교재단순 선형 회

2022년 1월 11일
·
0개의 댓글
post-thumbnail

[혼공머] K-Nearest Neighbors, R²

공부 벌레가 되고 싶은 🐛 어떤 사람의 K-NN 알고리즘, 결정계수 $R^2$ 정리 글입니다.참고한 교재의 chapter 3-1에 해당됩니다.📕 교재: 혼자 공부하는 머신러닝+딥러닝💻 유튜브 강의: https://youtu.be/0mrLRkgbjA0K-N

2022년 1월 11일
·
0개의 댓글
post-thumbnail

[DL] 역전파 알고리즘(backpropagation algorithm)

이번 글은 오차 역전파 알고리즘(backpropagation algorithm)에 대해 공부하고 정리해보도록 하겠습니다.신경망에서 경사 하강법을 적용할 때 손실 함수에서 각 가중치까지 신경망의 역방향으로 실행했던 함수를 따라가며 미분을 계산해서 곱했습니다. 만일 이 과

2022년 1월 6일
·
3개의 댓글
post-thumbnail

[DL] 경사하강법(Gradient Descent)

개념 내용, 이미지 출처: 딥러닝 교과서신경망 최적화 알고리즘은 대부분 경사 하강법에서 확장된 형태입니다! 신경망의 기본 알고리즘으로 경사하강법을 채택한 이유와 최적화 원리를 살펴보도록 하겠습니다.신경망의 손실 함수는 차원이 매우 높고 복잡한 모양을 갖고 있습니다.손실

2022년 1월 5일
·
0개의 댓글
post-thumbnail

[DL] 신경망 학습과 최적화(optimization)

개념 내용과 이미지 출처: 딥러닝 교과서신경망을 이용하여 집값을 예측한다고 가정해봅시다.신경망에는 집값 예측을 위한 '방의 수, 면적, 집 종류, 역과의 거리'와 같은 입력 데이터와 모델이 예측해야 할 '집값' 데이터인 타깃 데이터가 제공될 뿐, 추론을 위한 규칙은 제

2022년 1월 5일
·
0개의 댓글
post-thumbnail

[DL] 활성 함수(activation function)

hidden layer를 설계할 때 선택할 수 있는 활성 함수는 매우 다양합니다.활성 함수는 크게 sigmoid 계열과 구간 선형 함수로 정의되는 ReLU(Rectified Linear Unit) 계열로 구분할 수 있습니다.시그모이드 계열은 sigmoid, $tan h

2021년 12월 28일
·
0개의 댓글
post-thumbnail

[DL] 입력 계층(Input layer)

순방향 신경망의 입력 계층은 입력 데이터를 벡터 형태로 받아서 다음 계층에 전달하는 역할을 합니다.따라서 입력 데이터의 크기가 n개인 벡터라면 입력 계층은 n개의 뉴런으로 정의됩니다.예를 들어, 다음과 같이 정의된 자동차 연비를 예측한다면,크기가 9인 1차원 벡터 $x

2021년 12월 28일
·
0개의 댓글
post-thumbnail

[DL] 회귀 모델 (Regression Model)

이번 포스팅은 머신러닝의 지도학습 중 분류와 회귀로 나뉘는 개념 중 회귀에 대해 간단히 정리해보려고 합니다.분류 문제는 범주형 데이터를 예측하는 문제이며, 회귀 문제는 숫자형 데이터를 예측하는 문제입니다.회귀 문제는 여러 독립 변수와 종속 변수의 관계를 연속 함수 형태

2021년 12월 28일
·
0개의 댓글
post-thumbnail

[DL] 순방향 신경망(feedforward neural network)

순방향 신경망(feedforward neural network)은 다층 퍼셉트론의 다른 이름으로 인공 신경망 모델 중 가장 기본이 되는 모델이다.순방향 신경망은 Universal Approximation Theorem을 통해 n 차원 공간의 연속 함수를 근사할 수 있다

2021년 12월 28일
·
0개의 댓글
post-thumbnail

[DL] XOR and Simple Neural Network

XOR ProblemMotivationPerceptronMatrix Multiplication XOR and Simple Neural Network

2021년 12월 18일
·
0개의 댓글