오차가 줄어드는 방법으로 학습합니다.
회귀모델은
오차를 mse
분류는 0,1 아무리 커도 1이니까
로그함수 크로스엔트로피
크로스 엔트로피(Cross-Entropy)는 주로 분류 문제에서 모델의 성능을 평가하는 손실 함수로 사용됩니다. 특히, 크로스 엔트로피는 확률 분포 간의 차이를 측정하는 지표로, 신경망이나 로지스틱 회귀 같은 모델의 학습 과정에서 많이 사용됩니다.
크로스 엔트로피 손실 (Cross-Entropy Loss)
크로스 엔트로피 손실은 모델이 예측한 확률 분포와 실제 라벨(정답) 간의 차이를 계산하여, 그 오차를 최소화하는 방향으로 모델을 학습시키는 데 사용됩니다. 이 손실 함수는 예측이 실제 정답과 얼마나 다른지를 측정하며, 이 값이 작을수록 모델의 예측이 정확하다는 것을 의미합니다.
분류는 0 or 1 이라서 오차를 많이 수정못해서
cross entrophy
오차를 줄여나가는 방법
최적화 함수
optimizer
1 사이클 1epoch
오차를 줄여나가는 방법은 주로
**최적화 알고리즘(Optimizer)**
을 사용하여 수행됩니다. 최적화 알고리즘은 모델의 예측이 실제 값과 얼마나 다른지를 나타내는 손실 함수(Loss Function)를 최소화하는 데 사용됩니다. 최적화 과정은 모델의 가중치(weight)와 편향(bias)을 조정하여 손실을 줄이는 방향으로 진행됩니다.
최적화 알고리즘의 역할
최적화 알고리즘은 손실 함수의 기울기(gradient)를 계산하고, 이를 기반으로 모델의 파라미터를 업데이트하여 손실을 최소화하는 방법을 제공합니다. 가장 많이 사용되는 최적화 알고리즘은 경사 하강법(Gradient Descent) 계열의 알고리즘들입니다.
경사 하강법 (Gradient Descent)
경사 하강법은 손실 함수의 기울기를 따라 손실이 가장 급격히 감소하는 방향으로 모델의 파라미터를 업데이트하는 방법입니다. 이를 통해 손실을 점진적으로 줄여나가며, 궁극적으로는 전역 최소점 또는 근사치를 찾는 것을 목표로 합니다.
1. 기본 경사 하강법의 로직
기본 경사 하강법의 동작 원리는 다음과 같습니다:
2. 초기화: 모델의 가중치와 편향을 무작위로 초기화합니다.
손실 함수 계산: 현재 가중치와 편향을 사용하여 예측을 수행하고, 손실 함수를 계산합니다.
3. 기울기 계산: 손실 함수에 대한 가중치의 기울기(미분)를 계산합니다.
4. 가중치 업데이트: 기울기를 반영하여 가중치를 업데이트합니다. 업데이트는 다음과 같이 수행됩니다:
5.
최적화 알고리즘은 모델의 손실을 줄이는 중요한 역할을 하며, 이 과정에서 기울기를 계산하고 이를 활용해 모델 파라미터를 업데이트합니다.
이를 통해 모델이 점진적으로 더 나은 예측을 하도록 학습하게 됩니다.
최적화 알고리즘의 선택과 설정은 모델의 성능과 학습 속도에 큰 영향을 미칩니다.
딥러닝(모델설계)
