2023.12.15 DAY63
신경망의 기초와 관련된 수학, 확률에 관한 강의를 들었다. 대학교 때 다 배웠던 내용들인데 역전파, 확률과 관련된 것들은 배울 때마다 새로 배우는 느낌이다ㅠㅠ 정확히 100% 습득하지 못해서 그런 것 같다. 이번에 제대로 이해하고 넘어가려고 했다!! 그리고 지금까지는 이론만 배운 느낌이라면 강의를 통해서 그 이론이 기하학적으로는 어떤 의미인지 배울 수 있어서 좋았다.
📝 배운 내용
다층 퍼셉트론
- 활성 함수
- 비선형 함수
- 활성 함수에 따라 다층 퍼셉트론의 공간 분할 능력 변화
- 은닉층
- 특징 벡터를 분류에 더 유리한 새로운 특징 공간으로 변환
- 특징 학습
오류 역전파
- 미분의 연쇄법칙을 통해 계산된다
- 목적함수의 최저점을 찾아주는 경사하강법
- 출력의 오류를 역방향으로 전파하며 경사도를 계산하는 알고리즘
- 벡터의 미분은 야코비얀 행렬로 표현되고 벡터와 스칼라의 미분은 gradient로 표현된다
베이즈 정리
- 사후 확률을 직접 추정하는 것은 불가능하기 때문에 베이즈 정리를 통해 추정한다
- 즉, 사전 확률과 likelihood를 통해 (데이터를 통해) 최대가 되는 확률을 찾는 것
- 이를 통해 주어진 분류 문제를 풀 수 있다
maximum likelihood
- 매개변수를 모르는 상황에서 매개변수를 추정하는 문제
- 주어진 데이터를 관측하고 확률 변수의 매개변수를 구하는 방법
정보이론
- 잘 일어나지 않는 사건의 정보량이 더 많다
- 엔트로피
- 해당 확률 변수가 얼만큼의 정보를 가질 수 있는가를 표현
- 교차 엔트로피
- 서로 얼만큼의 정보를 공유하고 있는지, 두 확률분포를 비교할 떄 사용
