MachineLearning_AndrewNg
1.[ML] 1주차 : 학습 알고리즘, 비용 함수, 경사 하강법
: 알고리즘에게 데이터를 주는데 이때 각 데이터에 대한 '정답' 을 포함하는 경우\-> 알고리즘의 역할은 더 많은 '정답'을 만들어 내는 것 (새로 들어올 입력값에 대한 정답 같은 것) \- Regression (회귀) : 연속된 값을 예측한다. (ex. ho
2.[ML] 2주차 : 데이터 전처리, 학습률, 정규 방정식
앞으로 사용할 표기법n : feature 개수m : training examples 개수$x^(i)$ : i번째 training example$x^(i)\_j$ : i번째 training example에서 j번째 feature의 값
3.[ML] 3주차-1 : 분류, 시그모이드 함수, 결정 경계
보통 찾으려는 것이 없는 경우를 음성 (대체로 0으로 분류 )그 반대의 경우를 양성 (대체로 1로 분류)0, 1 외에도 0, 1, 2, ... 등으로 값을 분류하는 것은 multiclass classification
4.[ML] 3주차-2 : 로지스틱 회귀의 비용함수
1) Cost Function
5.[ML] 3주차-3 : Multiclass Classification
Binary Classification의 경우 regression을 통해 얻은, 그림에서의 파란색 직선과 같은 것을 통해 두 개의 클래스로 분류를 했다. Multi class는 어떻게 할까 ?Class1과 나머지 분류Class2와 나머지 분류Class3와 나머지 분류로
6.[ML] 3주차-4 : underfitting, overfitting, regularization
Machine Learning by professor Andrew Ng in Coursera Solving the Problem of Overfitting 1) The Problem of Overfitting
7.[ML] 4주차-1 : Neural Networks
linear regression과 logistic regression이 있는데 neural network를 왜 더 배워야 할까위의 그림과 같이 logistic regression을 통해 non-linear boundary를 만드는 것이 가능하다.$$g(\\theta_0
8.[ML] 4주차-2 : Applications
$x1$ AND $x_2$를 예측하는 예제를 통해 neural network를 적용해 보자.\_AND는 $x_1$과 $x_2$가 모두 참일 때만 '참'을 출력하는 논리연산자$$\\begin{bmatrix}x0 \\ x_1 \\ x_2\\end{bmatrix} \\rig
9.[ML] 5주차-1 : Cost Function and Backpropagation
우선 앞으로 사용할 새로운 변수들L = total no. of layers in network$s_l$ = no. of units (not counting bias unit) in layer $l$Binary Classification에서 y는 0 또는 1 만을 갖는다
10.[ML] 5주차-2 : Backpropagation in Practice
'이전에 언급한 advanced optimization 방법에서는 unrolled 형태가 필요할 수 있다. 그럴때 이 방법을 쓴다.''backpropagation이 잘 작동하고 있는지 확인할 수 있다.'We can approximate the derivative of
11.[ML] 6주차-1 : Evaluating a Learning Algorithm
housing price 예측을 위해 regularized linear regression을 실행했다고 가정한다.그러나 hypothesis를 새로운 데이터에 테스트해보니 예측에 에러가 많다.어떻게 할까?Getting more training examplesTrying
12.[ML] 6주차-2 : Bias vs. Variance
learning algorithm의 성능이 좋지 않다면 (즉, $J{cv}(\\theta) \\text{ or } J{test}(\\theta)$값이 크다면) bias 문제일까 variance 문제일까$$Model : h\\theta(x) = \\theta_0 + \\
13.[ML] 6주차-3 : Building a Spam Classifier
지도 학습x : features of emailchoose 100 words indicative of spam/not spamy : = 1(spam) or = 0(not spam) 이 분류기의 정확도를 높이기 위해 어떻게 할까많은 data 수집더 복잡한 feature
14.[ML] 6주차-4 : Handling Skewed Data
logistic regression모델을 훈련시켰더니 에러율이 1%밖에 되지 않았다.즉 99%의 정확도를 가진다는 것이다.하지만 이때 0.5%만이 암환자 였다면?애초에 암환자의 비율이 상대적으로 적었기 때문에 에러율은 낮을 수 밖에 없었던 것이다.이런 경우를 skewe
15.[ML] 6주차-5 : Using Large Data Sets
몇몇 알고리즘들은 training set 크기가 커질수록 정확도가 높아진다.'training set가 매우 크기 때문에 parameter가 많더라도 overfit되지 않는다.'it's a key ingredients of assuming that the features
16.[ML] 7주차-1 : Large Margin Classification
Machine Learning by professor Andrew Ng in Coursera"Support Vector Machine"logistic regression과 neural network와 비교했을때 cleaner & powerful way of learni
17.[ML] 7주차-2 : Kernels
Machine Learning by professor Andrew Ng in Coursera 1) Kernels I 위와 같은 data에는 non-linear decision boundary가 필요하다. 이때 svm classifier의 목표는 $\theta0 +
18.[ML] 7주차-3 : SVMs in Practice
Machine Learning by professor Andrew Ng in Courseraliblinear, libsvm과 같은 SVM이 이미 잘 구현된 것들이 많기 때문에 직접 코딩하지말고 라이브러리를 활용해라.하지만 이때 라이브러리를 쓰더라도 아래의 것들은 직접
19.[ML] 8주차-1 : Clustering
Machine Learning by professor Andrew Ng in Coursera'가장 널리 쓰이는 clustering algorithm'위와 같이 주어진 연두색 데이터들을 2개의 cluster로 나누고자 한다.우선 랜덤으로 cluster centroids가
20.[ML] 8주차-2 : Dimensionality reduction
Machine Learning by professor Andrew Ng in Coursera'Data Compression를 왜 하는지에 대해 '데이터를 $2D$에서 $1D$로 줄인다.redundancy를 줄일 수 있다.서로 연관성있는 특성들은 1개로 줄일 수 있다.예
21.[ML] 8주차-3 : Principal Component Analysis
Machine Learning by professor Andrew Ng in Coursera
22.[ML] 8주차-4 : Applying PCA
pca로 압축한 데이터에서 원래 데이터로 돌아가려고 한다.$$x{approx} = U{reduce} \\cdot x $$$x\_{approx}$ 즉, 근삿값을 얻을 수 있다.'k는 pca 알고리즘의 파라미터다.Averaged squared projection error
23.[ML] 9주차-1 : Density Estimation
Machine Learning by professor Andrew Ng in Coursera내가 비행기 엔진을 제작하는 사람이라고 가정한다.좋은 엔진을 가려내기 위해 feature들을 테스트해 보려고 한다.새로운 엔진을 기존의 데이터와 함께 표시하면'기존 데이터와 비슷
24.[ML] 9주차-2 : Building an Anomaly Detection System
Machine Learning by professor Andrew Ng in Coursera'이전 강의에서 배웠던 내용, the importance of real-number evaluation.숫자로 결과를 명확하게 내려주는게 좋다고 했던..'feature를 선택하는
25.[ML] 9주차-3 : Multivariate Gaussian Distribution (Optional)
Machine Learning by professor Andrew Ng in Coursera기존 데이터와 새로 들어온 데이터 $x_1, x_2$와의 거리는 꽤 멀다.그런데 오른쪽 그래프를 보면 그렇게 $anomalous$한 것 같지는 않다.\-> 즉, $anomaly$
26.[ML] 9주차-4 : Predicting Movie Ratings
Machine Learning by professor Andrew Ng in Coursera영화 별점을 예상하여 추천하는 알고리즘을 만들려고 한다.각 사용자가 몇 편의 영화에 대해 별점을 매긴 것을 바탕으로 새로운 영화를 추천해 준다.위의 사진들에서 '?' 표시된, 사
27.[ML] 9주차-5 : Collaborative Filtering
Machine Learning by professor Andrew Ng in Coursera' $x^{(~)}$ 는 영화에 대한, $\\theta^{(~)}$는 사용자들에 대한 '' $\\theta^{(~)}$에서 가장 첫 번째 항은 기본으로 0이 들어감 '위의 데이터
28.[ML] 9주차-6 : Low Rank Matrix Factorization
Machine Learning by professor Andrew Ng in CourseraCollaborative filtering을 matrix로 나타내면 다음과 같다.
29.[ML] 10주차-1 : Batch / Stochastic / Mini-batch gradient descent, 학습률
학습알고리즘이 이전보다 더 잘 동작하는 이유는 학습알고리즘을 훈련시킬 수 있는 데이터셋이 커졌기 때문이다.데이터셋이 커지면 왜 성능이 좋아질까?이전에 배웠던 성능이 좋은 학습 알고리즘을 얻는 방법 중 하나는 low bias 알고리즘을 크기가 큰 데이터셋으로 훈련시키는
30.[ML] 10주차-2 : 온라인 학습, Map-reduce
Machine Learning by professor Andrew Ng in Coursera온라인 학습 알고리즘은 실시간으로 유입되는 데이터를 모델링하고 학습한다. 고정된 훈련 세트라는 개념이 없다.지속적으로 새롭게 유입되는 데이터로 학습을 하고, 학습을 했다면 해당
31.[ML] 11주차-1 : Photo OCR, Sliding Window, Ceiling Analysis
Machine Learning by professor Andrew Ng in CourseraPhoto Optical Character RecognitionText detection주어진 사진에서 텍스트 부분을 감지한다.sliding windowCharacter segm
32.[ML] 11주차-2 : 끝
Machine Learning by professor Andrew Ng in Coursera Summary Summary: Main topics Supervised Learning Linear regression, logistic regression, neur