AI 기초

역사적인 흐름을 소개하기에 앞서 과연 좋은 deep learner의 특징은 무엇일까?1\. 좋은 구현 스킬2\. 수학적인 스킬3\. 최근에 그리고 많은 딥러닝과 관련된 논문을 읽어 보았는가?AI는 사람을 모방하는 것을 의미한다.그런 AI중에서도 데이터를 다루는 것이 머

손실함수에서 모델의 가중치와 바이어스의 최적의 값을 찾기 위해서 사용되는 방법이다.머신러닝의 최적화 알고리즘 중 하나이다.기울기(경사)구하기예를 들어 b(절편,bias)가 0이라고 가정해보자(계산상 편의를 위해)그 때 가중치 w값의 변화에 따른 손실 값을 살펴보고, 그

Epoch? 에폭(epoch)은 모델이 전체 데이터셋을 1번 완전히 학습하는 과정을 의미 만약 전체 데이터가 10개이고 1epoch이면, 모델은 10개의 데이터를 한번 학습했다는 의미이다. epoch의 장점은 동일한 데이터 셋을 여러번 반복 학습이 가능하다는 점이다.

BCE(Binary Cross Entropy)라고도 부르며, 이진 분류 문제에서 예측 변수와 목표 변수간의 차이를 측정하기 위해 사용되는 손실 함수이다.아래와 같은 함수식을 사용한다. 이런 식은 어떻게 도출된 것일까? 식을 유도하기 위해서는 조건부 확률과 로그가능도,

인공지능, 머신러닝, 딥러닝은 개념의 차이가 있다.인공지능 - artifical intellingence 기계가 인간처럼 지능적인 행동을 할 수 있게 하는 모든 기술, 굉장히 포괄적이다.머신러닝 - 어떤 데이터로부터 패턴을 인식하고 그 패턴을 기반으로 결과를 예측하는

머신러닝(딥러닝) 모델이 얼마나 좋은지, 나쁜지를 정량화 하는 함수 ( $L(\\hat{Y},Y)$ )y_hat(예측값)과 y(실제값)이 얼마나 다른지에 따라 모델에 페널티를 주는 양수를 출력한다.\- 손실함수가 가져야 하는 성질 1\. $\\hat{Y}=Y$이면

우리는 linear classifier, softmax classifier를 정리한 것에서 보면 이미지 분류 task에서 linear model를 적용하는 것을 배웠다. $f(x,W)=Wx+b$ 이 꼴로 모델을 작성한 뒤에 클래스 분류를 위해 이 값에 softmax f

인간의 신경망을 모방하고자 하는 시스템이다. 딥러닝을 설명하는 많은 사람들이 인간의 뇌를 모방해서 잘되는 것이라고 말한다.우리는 날고 싶다고 해서 새를 모방하지는 않는다. 우리가 빠르게 달리기 위해서 치타를 모방하지 않듯이 굳이 인간의 뇌를 닮기 위해 인간을 모방하지

우리가 Loss function의 결과로 우리가 가중치를 업데이트 해줄 때 이 역전파를 이용하는 것이다!!이 역전파를 통해 optimizer를 해서 최적화를 하는 것이다.역전파는 loss를 weight파라미터에 대해서 미분하는 과정이다.neural network에서 중

우리가 지난 시간에 모델이 추정한 예측 값과 실제값을 비교하여 예측값이 좋은지 않좋은지 확인하는 Loss function을 배웠다. 그럼 loss function을 이용하여 매개변수 W를 어떻게 업데이트 하고 값을 정하는가? 에 대해 알아보자어떤 criterion을 만

일반화를 잘되게 하기 위해서 필요한 기법이다.즉 모델이 학습에서만 잘 되게 하는게 아니라 테스트에서도 잘 되게 하기 위한 방법이다.Early stopping 말 그대로 학습을 멈추는 건데 검증 계속하다보면 어느 순간 loss가 올라가는 형태가 보일텐데 그때 멈추는 거다

nonlinear(비선형)한 데이터 패턴을 학습할 수 있게 해주는 key component이다. 우리가 지금까지는 input과 output이 linear한 관계일 때를 분석해보았지만 이제는 input데이터에 weight파라미터를 곱한것을 다 더한 다음에 activati

우리가 neural network를 훈련할 때 훈련 단계를 배웠는데 훈련하기 위한 가장 첫번째 스텝이 오늘 배울 가중치 초기화이다.W를 무조건 0으로 초기화 하거나 랜덤으로 할 순 없다. 상황에 맞게 해야되니깐! 그럼 어떻게 초기화해야 학습이 잘되고, 업데이트할때 수렴

우리가 neural network를 돌릴때 데이터가 많이 없거나, 데이터가 깨끗하지 않을 때 어떻게 해야 되는지 알아보자!!데이터 전처리의 중요성과 다양한 기법에 대해 설명할 것이다.예를 들어 지도 학습에서 train data를 모아서 neural network를 학습