[밑바닥부터 시작하는 딥러닝] #3 손실함수, 엔트로피

Clay Ryu's sound lab·2022년 3월 2일

Note for 2022

목록 보기

13/47

이번 시간부터는 학습을 다룬다.

머신러닝이란

데이터를 기반으로 스스로 규칙을 학습하는 것이 머신러닝이다.

손실함수

평균 제곱 오차mean squared error

분류의 문제라면 one-hot encoding된 라벨을 이용해야 한다.
두 확률 분포 사이의 거리를 계산하는 직관적인 방법이다.

def mean_squared_error(y, t):
    return 0.5 * np.sum((y-t) ** 2)

문제풀이

흥미로운 것은 라벨이 정해지지 않은 경우의 예측값의 손실함수를 구하는 경우에
각각의 라벨에 대해서 mse를 구해준 다음에 그것을 라벨의 개수로 평균해주어야 한다는 것이다.

교차 엔트로피 오차cross entropy error

log는 자연상수를 밑으로 하는 로그이며 모델이 1이라고 정확한 예측을 하는 경우
손실함수의 값은 0이 되는 구조가 된다.

# y 행렬의 슬라이싱 테크닉이 조금 어렵다
# 리스트 두개면 각 값이 매칭되는 위치를 가져온다고 생각하면 된다.
def cross_entropy_error(y, t):
    if y.dim == 1:
        t = t.reshape(1, t.size)
        y = y.reshape(1, y.size)
                               
    if t.size == y.size:
        t = t.argmax(axis=1)

    batch_size = y.shape[0]
    return -np.sum(np.log(y[np.arange(batch_size), t])) / batch_size

문제풀이

# 브로드캐스팅을 이용해서 normalize를 해준다.
# 행렬과 벡터의 브로드캐스팅은 행에 대해서만 성립하기 때문에
# Transpose를 해준다.
def softmax(x):
    if x.ndim == 2:
        x = x.T
        x = x - np.max(x, axis=0)
        y = np.exp(x) / np.sum(np.sum(np.exp(x), axis = 0)
        return y.T                 
    
    x = x - np.max(x)
    return np.exp(x) / np.sum(np.exp(x))