Preview

훈련데이터, 시험데이터
공부를 할 때 잘 공부했는지 확인하기 위한 문제를 풀어봄.
이때 문제를 맞히면 잘 알고있다는 것.
하지만 문제의 답을 알고있다면, 문제를 당연히 맞힐 수 있음.
훈련데이터의 특징을 추출한다면 답을 맞힐 확률이 올라감.
따라서 시험데이터를 분리해서 시험데이터로 정확도를 확인한다.

정확도를 어떻게 도출?

• 과소적합

• 최적합

• 과대적합

• 손실함수
  training이 잘 되었다면 손실값이 낮을 것.

-- 평균제곱오차
분산과 유사한 식
예측하고자 하는 값 - 정답 => 차이

신경망의 출력 값 - 정답 => 차이
숫자가 작을 수록 정확도가 높은 것.

손실함수를 사용하는 이유?

학습이 잘 되었는지 판단하기 위해.
=> 손실함수를 줄이는 방향으로 향하기 위함.

-- 교차엔트로피오차
x가 1에 가까울 수록 y는 0에 가까워짐
x가 0일때 y의 값은 점점 작아짐.

• 미니 배치 학습
  학습 => 손실함수 => 합

sampling을 통한 효율적인 계산 가능
(ex. 선거여론조사)

배치용 교차 엔트로피 오차 구현하기

• ont-hot-label일 경우
• 숫자 레이블일 경우

정확도로 손실함수를 적용하는 것은 미세한 변화에 대한 반응이 어려움.

수치 미분

미분이란?

미(미세할 미), 분(나눌 분)
= 미세하게 나눈다.
= 시간을 0으로 보낼때의 값(순간변화율)

근사치 값을 이용.

• h = 10^-4을 이용
• 중심차분 이용

인수의 제곱의 합 계산

변화율 가지고 계산
가중치를 변경 => 손실함수의 값이 낮아지는 방향으로 학습시켜야 !

기울기(Gradient)

모든 변수의 편미분을 벡터로 정리한 것을 기울기라고 함.

미분이라 h가 필요.

기울기함수

하나의 데이터에 대한 dimension
하나의 데이터를 구하기 위해 no batch 사용

배열로도 가능.

경사법

현 위치에서 기울어진 방향으로 일정 거리만큼 이동
낮은 곳으로 가려면 낮은 방향으로, 높은 곳으로 가려면 높은 방향으로 간다.

기울기를 구해서 낮아지는 방향으로 가게끔 한다.
손실함수의 값을 줄인다.
학습의 결과를 좋게 만든다.

최댓값찾기: 경사 상승법
최솟값찾기: 경사 하강법

• 경사법을 수식으로 표현

4/8일자 오늘 수업 복습 + 4.5절 예습해오기

중간고사 관련
시험은 8주차 수요일(4/20) 예정
가급적 대면으로 볼 예정.
시험유형 ) 퀴즈 + 서술형