3일차 학습정리

강의 복습 내용

6. 확률론 맛보기

딥러닝과 확률론

회귀 분석 - L2 norm : 예측 오차의 분산을 가장 최소화하는 방향으로 학습을 유도함
분류 문제 - cross-entropy : 모델 예측의 불확실성을 최소화하는 방향으로 학습을 유도함

Marginal distribution
$P(\mathbf{x})=\sum_{y} P(\mathbf{x}, y) \quad P(\mathbf{x})=\int_{y} P(\mathbf{x}, y) \mathrm{d} y$

$P(\mathbf{x},y)$는 $P(\mathbf{x} \ \& y)$와 같이 나타낼 수 있다.

몬테카를로 샘플링

주어진 데이터에 대한 확률 분포를 알지 못할 때 데이터를 사용해서 기대값을 계산하려면 몬테카를로 샘플링을 사용해야한다.
통계학의 특성 상 무한한 시도를 거쳐야만 정답을 얻어낼 수 있는데 현실에서는 그러기 어렵기 때문에 유한한 시도만으로 답에 근사한 값을 얻어내기 위해 실시한다.
ex) 원의 넓이 구하기

$\mathbb{E}_{\mathbf{x} \sim P(\mathbf{x})}[f(\mathbf{x})] \approx \frac{1}{N} \sum_{i=1}^{N} f\left(\mathbf{x}^{(i)}\right), \quad \mathbf{x}^{(i)} \stackrel{\text { i.i.d. }}{\sim} P(\mathbf{x})$

몬테카를로 샘플링은 독립추출이 보장될 시 대수의 법칙에 의해서 수렴성이 보장된다.

과제 수행 과정 / 결과물 정리

과제 5

def get_key(val):
	for key, value in dict.items():
		if (value == val):
        	return key

위의 방법을 사용하면 dictionary의 key와 value를 쌍으로 받은 뒤 확인해서 value를 이용해서 key를 얻어낼 수 있다.

피어세션 정리

• 피어세션이 피었습니다 발표 (한준님)준비
• 공모전, 논문 읽기, 컨퍼런스 발표, 자율 공유에 대한 논의
• 한진님 경사하강법 내용 발표

학습회고