# cost function

13개의 포스트
post-thumbnail

sklearn 1.2 버전부터 load_boston 미제공

해결방법 GOTCHA!

2023년 7월 2일
·
0개의 댓글
·
post-thumbnail

제로베이스 데이터취업스쿨 DAY53 머신러닝9~11

지도학습 분류(Classification), 회귀(Regression) 비지도학습 군집, 차원 축소 비용함수(Cost Function) -원래의 값과 가장 오차가 작은 가설함수 를 도출하기 위해 사용되는 함수 선형 회귀 ![](https://velog.velcdn.com/images/mezero402/post/d9418c82-4

2023년 5월 17일
·
0개의 댓글
·
post-thumbnail

[딥러닝]Loss Function (+ Cost Function)

손실함수(Loss function) 예측값과 실제값의 차이 = loss 모델 성능의 '나쁨'을 나타내는 지표(0에 가까울수록 정확도가 높음) 실제 y값에 비해 가정한 모델 $h_\theta$의 예측값이 얼마나 잘 예측했는지 판단하는 함수이다. 빨간 선의 총합이 최소화되었을 때 최적의 결과값 도출 가능하다. -회귀 타입 사용: 평균 제곱 오차(Mean Squared Error, MSE) $$MSE=\frac{1}{m}\sum{i=1}^{m}(\hat{yi}-y_i)^2$$ (가장 많이 쓰임) 예측값과 실제값 사이의 평균을 제곱하여 평균낸 값 <img src="https://velog.velc

2023년 4월 30일
·
0개의 댓글
·
post-thumbnail

손실함수

기계 학습 기계는 주어진 데이터를 온전히 학습하고, 주어진 문제의 패턴을 발견하려 시도한다. 그리고 기계 학습은 훈련 데이터( training Data ) 시험 데이터( test Data ) 로 나누어 학습과 시험을 수행하는 것이 일반적이다. 우선 훈련 데이터를 통해서 학습하며 최적의 매개변수를 찾고, 시험 데이터를 통해서 학습한 모델의 실력을 평가 하는 것이다. 이렇게 데이터를 둘로 나누는 것은 모델의 범용 능력을 제대로 평가하기 위함이다. 여기서 범용 능력이란, 훈련 데이터에 포함되지 않은, 즉 처음 보는 데이터로도 올바르게 문제를 해결해 낼 수 있는 능력을 말한다. 만약 손글씨를 인식하는 프로그램을 훈련시켰는 데 특정 몇몇 사람의 손글씨만을 인식 할 수 있다면 좋은 모델이라고 평가 받지 못할 것이다. > 참고로, 이처럼 특정 데이터셋에만 지나치게 최적화된 상태를 오버피팅 이라고 한다. 손실 함수의 필요성 신경망 학습에서는 현재의 상태를

2022년 9월 29일
·
0개의 댓글
·
post-thumbnail

Logistic Regression (Notation, Cost Function, Gradient Descent)

Binary Classification classification의 결과가 0 또는 1인 것을 의미한다. 예를 들면 사진 하나를 보여주고 이 사진이 고양이이면 1, 고양이가 아니면 0을 뱉는 classification model은 binary classification을 수행한다. input(x)로 사진을 주면 output(y)으로 0 또는 1이 나온다. input은 여러 개의 채널을 가지게 된다. 예를 들면, 사진의 색을 표현하기 위해서는 R, G, B의 3개 요소가 필요하므로 vector가 된다. 만약 사진이 가로 64 pixel, 세로 64 pixel에 R, G, B의 3 channel이라면 x의 dimension nx는 64 * 64 * 3 = 12288로 12288이 된다.

2022년 3월 12일
·
0개의 댓글
·
post-thumbnail

[논문리뷰] Extending Stein’s unbiased risk estimator to train deep denoisers with correlated pairs of noisy images

안녕하세요. 밍기뉴와제제입니다. 이번에 리뷰할 논문은 Extending Stein’s unbiased risk estimator to train deep denoisers with correlated pairs of noisy images, 줄여서 eSURE입니다. eSURE은 이미지 디노이징(denoising)을 구현한 네트워크를 비지도 학습시킬 때 사용하는 함수입니다. 비지도학습에 대해 자세히 알아볼 기회가 없었는데 이번 논문을 공부하며 비지도학습을 공부해보는 기회를 가질 수 있어 좋았습니다. 그러면 지금부터 리뷰를 시작하도록 하겠습니다. 1. Introduction DNN(Deep neural network, 이하 네트워크)은 이미지 디노이징에서도 유용히 쓰이고 있습니다. DNN을 이용해 실제 노이즈는 물론 가상으로 생성된 Gaussian Noise(이하 가우시안 노이즈)를 제거할 수 있다는 사실을 보여줬죠 > 랜덤한 값을 가지는 노이즈(확률 변수)들

2021년 12월 30일
·
0개의 댓글
·
post-thumbnail

모두를 위한 딥러닝 시즌 1 ML lec 6

Lecture 6-1 Softmax classification: Multinomial classification 저번 강의에서 우리는 binary classification에 대해 공부했었다. binary classification은 한가지 기준으로 그렇다/아니다를 판별하는 것이었다. 그런데 2가지 이상에 대해서 판별하려면 어떻게 해야할까 이것을 알아보디 위해 이번시간에는 multinomial classification에 대해 배웠다. 이렇게 세가지 경우에 대해 자료가 주어지면 오른쪽 그림과 같이 나타낼 수 있을것이다. 우리는 이것을 3개의 각각 다른 binary classification을 이용해서 구분 지을 수 있다. ![](https://images.velog.

2021년 12월 29일
·
0개의 댓글
·
post-thumbnail

Ridge Regression

[1] Ridge regression Ridge regression은 모델학습에 있어서 편향(bias)을 조금 더하고, 분산(variance)을 줄이는 방법으로 *정규화(regularization)을 수행한다. 모델의 편향 에러를 더하고, 분산을 줄이는 방식으로 일반화를 유도하는 방법 다중회귀선을 훈련데이터에 덜 적합되도록 만듦으로써 더 좋은 결과의 모델을 만듦 과적합을 줄이기 위해 사용 >정규화 모델을 변형하여 과적합을 완화해 일반화 성능을 높여주기 위한 기법 >$\beta{ridge}$: $argmin[\sum{i=1}^n(yi - \beta0 - \beta1x{i1}-\dotsc-\betapx{ip})^2 + \lambda\sum{j=1}^p\betaj^2]$ > n = the number of sample p = the number of feature $\lambda$ = alpha( = lambda, re

2021년 9월 1일
·
0개의 댓글
·
post-thumbnail

Building Deep Neural Network : step_by_step.ver

Packages Outline 대략적인 순서를 적어보자면, 처음에 parameters을 초기화 해 준 다음, ReLU Forward->Sigmoid Forward에 넣고 Loss를 계산해 준 후, Backward에 넣어서 learning_rate값과 함께 parameters을 업데이트 해 준다. 위 과정을 반복한 후 마지막으로 predict를 한다. 처음 단계로, parameters를 초기화 해 주자. Initialization 저번 글에서도 했었던 2-layer에서의 parameter초기화와 Deep Neural Network에서의 초기화가 어떻게 다른지 실펴보도록 하겠다. 2-layer Neural Network `parameters = initialize_parameters

2021년 8월 20일
·
0개의 댓글
·
post-thumbnail

Planar data classification with one hidden layer

Packages Load Data 여기서는 2-클래스 데이터 세트인 "flower"를 사용할 것이다. 위 코드를 실행시켜 시각화하면 아래와 같이 출력된다. X와 Y가 어떻게 생겼는지 확인해보자. 400개의 샘플개수, 각각 2차원,1차원의 데이터셋이 400개씩 있다는 사실을 확인할 수 있다. Logistic Regression 로지스틱 회귀를 사용해서 간단한 클래스 분류를 해 보자. ![](https://images.velog.io/images/yelim421/post/b508035d-b46c-46e2-8e

2021년 8월 19일
·
0개의 댓글
·
post-thumbnail

모두를 위한 딥러닝 1 :: Lecture 3 How to minimize cost

Linear Regression의 Cost함수 최소화 방법 : Gradient descent Algorithm 경사하강법 Linear Regression의 모델링 함수 H(x)와 손실함수 cost(x)의 복습: H(x)가 주어졌을 때, 실제의 y값과의 차를 이용한 손실함수를 이용해서, W, b의 값을 구해준다. 이 때, 어떠한 방식으로 값을 구할 수 있을까? b= 0으로 가정한, y=x라는 linear Regression을 추정하는 예시) 다음과 같은 테이블의 변수가 주어졌을 때,

2021년 5월 24일
·
0개의 댓글
·
post-thumbnail

모두를 위한 딥러닝 시즌 1: Lecture 2 :: Linear Regression

Linear Regression Linear Regression은 다음과 같은 방식으로 데이터가 주어진다. x는 예측을 하기위한 기본적인 자료로 주어지고, y에 해당하는 score는 예측할 대상이다. 이 때 회귀의 특징은 예측할 대상인 y가 연속적으로 넓은 범위(예시에서는 0~100)이 주어진다는 것이다. 그럼 다음과 같이 training set이 주어지고 Regression 모델에 의해 학습이 되어, 예시와 같이 x의 값이 주어졌을 때, y값을 추론하는 방식의 추론 모델을 Regression을 통해 만들 수 있게 된다. Hypothesis > Hypothesis란? 추론 모델을 의미한다. Linear Regression에서는 추론모델이 Linear 즉 다음과 같이

2021년 5월 23일
·
0개의 댓글
·

목적함수 손실함수 비용함수 차이

이 글은 shorturl.at/floO4 와 여러 reference의 내용을 번역, 정리한 글이며 가장 기초적인 개념을 담은 글입니다. 오역, 틀린 내용은 댓글로 부탁드립니다. 내용은 의역하여 정리 하였습니다. 목적함수 손실함수 비용함수 차이 우리가 최소화 최대화 하고 싶어하는 함수를 목적함수라고 한다. 최소화 시킨 함수를 비용함수 (cost function), 손실 함수 (loss function), 또는 오류 함수 (error function)라고 부를 수 있다. 비용함수는 최적화 문제에 쓰이고 손실함수는 파라미터 측정에 더 많이 쓰인다는 차이가 있다. 비용함수가 전체 트레이닝 셋에 걸쳐있을때 오류함수와 손실함수는 하나의 트레이닝에 쓰인다 - 손실함수는 파라미터 측정에 쓰이니까 당연히 한 트레이닝만 영향을 미친다. 손실함수는 objective function의 종류라 볼 수 있다. objective function은 만약 사각형을 가장크게 만들고 싶다고 가정할때 사

2021년 5월 14일
·
0개의 댓글
·