#Today I Learned 이여야하는데 This week I Learned가 된,,
#심지어 This week도 아니야 약 3주전;
#신나게 인공지능 시작!해놓고 사라졌어.. 당연함. 2주동안 널부렁됨.. 어렵다
#그래도 뭐배웠는지 기록
TIL
👇이번주 배운거👇
인공지능과 기계학습
- 신경망의 기초
- E2E 머신러닝 프로젝트
- Linear Algebra, Matrix Calculus
수학 들어가니까 확실히 따라가느라 정신없다...
넘 오래만에 해서 그런가 헷갈려서😭
확률과 통계
베이즈 정리
target distribution을 구할 때, 설명할 때, 혹은 신경망 등 다양하게 사용.
확률 모델을 사용해서 설명할 때 베이즈 정리를 많이 사용함.
posteriori = likelihood * prior* 확률은 정확한 값이라고 한다면 우도(likelihood)는 관찰된 값에서만 확인 할 수 있기 때문에 확률보다는 덜 정확하며, 그럴것 같다고 추정하는 느낌.
사후 확률 문제를 풀고 싶어하는 것이 기계학습의 목적이라고 한다면,
이것을 직접적으로 푸는것이 힘드니 사전확률과 우도를 통해서 이 문제를 해결하기 위함.
확률 분포와 연관된 유용한 함수들
-
로지스틱 시그모이드 함수
: 베르누이 분포의 매개변수 조정을 통해 얻어짐
주어져 있는 x값을 y값으로 치환할 때 0~1 값으로 만들어주는 함수.
비선형 함수로 신경망의 활성함수로 많이 사용됨. -
소프트플러스 함수
: 정규 분포의 매개변수 조정을 통해 얻어짐
마찬가지로 x가 들어오면 y값이 발현됨.
비선형 함수로 활성함수로 사용됨.
정보이론
: 어떤 event가 지닌 정보를 정량화 할 수 있는가?
- 정량화 시킬때 가장 중요한 것은 '불확실성'
- 확률이 작을수록 정보가 많다.
- 자주 발생하는 사건보다는 잘 일어나지 않는 사건의 정보량이 많다.
자기정보
: 사건 의 정보량
확률변수 하나에 대해서 정보를 측정하는 것
정보이론에서는 정보량을 측정하는 방안
엔트로피
: 확률변수 x의 불확실성을 나타냄
: 모든 사건 정보량의 기대값으로 표현
확률변수 하나만 보는 것이 자기정보라면, 엔트로피는 x라고 하는것이 가질 수 있는 모든 사건을 다 정량화 시키는 것
Q. 왜 사용하는가?
A. 해당하는 확률변수가 가질 수 있는 모든 이벤트들에 대한 자기정보를 다 더한 기대값이라고 생각하면 되기 때문에, 해당 확률변수가 얼마만큼의 정보를 가질 수 있느냐를 판단할 수 있는 지표로 생각하면 됨.
교차엔트로피
확률 분포 두 개를 가지고 있음
두 개의 확률분포가 얼마만큼의 정보를 공유하고 있는지에 대한 척도
심층학습에서 출력값을 return할 때, 출력값의 형태를 어떤 확률값으로 내보냄.
최적화
기계 학습의 최적화는 훈련집합에 따라 정해지는 목적함수의 최저점으로 만드는 모델의 매개변수를 찾아야 함
- 미분에 의한 최적화
- 편미분에 의한 최적화
- 경사 하강 알고리즘
+로 End-to-End 머신러닝 프로젝트와 선형대수 실습도 했다.
수학 한번 했던건데도 다시 들어가니까 머리가 아프넹.............
근데 확실히 다시보니까 지금 파트 이해는 더 잘간다.. 이거시 복습의 중요성...?
