활성화 함수 (Activation Function)

역할

• 각 노드에서 계산된 값을 비선형적으로 변환하여 다음 레이어로 전달할지 여부를 결정
  • 신경망의 각 노드에서 계산된 값을 다음 레이어로 전달할지 여부를 결정
• 선형 변환만으로는 복잡한 문제를 해결할 수 없기 때문에, 활성화 함수를 사용하여 비선형성을 추가
• 모델의 내부 동작을 결정 (각 뉴런의 출력 값을 결정)

종류

• 시그모이드 (Sigmoid)
  • 출력 값을 0과 1 사이의 값으로 압축
• ReLU (Rectified Linear Unit)
  • 입력이 0보다 크면 입력값을 그대로 출력하고, 0보다 작으면 0을 출력
• tanh (Hyperbolic Tangent)
  • 출력 값을 -1과 1 사이의 값으로 압축
• 소프트맥스 (Softmax)
  • 다중 클래스 분류 문제에서 각 클래스에 대한 확률을 출력

선택 기준

• 문제 유형, 모델 구조, 그리고 성능 등을 고려하여 적절한 활성화 함수를 선택

오차 함수 (Loss Function 또는 Cost Function)

역할

• 모델의 예측값과 실제값 사이의 차이를 계산하여 오차를 측정
  • 모델의 예측값과 실제값 사이의 차이를 계산하여 학습의 방향을 제시
• 모델의 학습 목표를 정의
  • 오차를 줄이는 방향으로 모델을 학습시킴 → 최적화 함수
• 모델의 성능을 평가

종류

• MSE (Mean Squared Error)
  • 회귀 문제에서 자주 사용
  • 예측값과 실제값의 차이를 제곱하여 평균을 계산
• MAE (Mean Absolute Error)
  • 회귀 문제에서 사용
  • 예측값과 실제값의 차이의 절대값을 평균하여 계산
• Cross-entropy
  • 분류 문제에서 사용
  • 예측값과 실제값의 분포 차이를 측정

선택 기준

• 문제 유형에 따라 적절한 오차 함수를 선택
  • 예: 회귀 문제에는 MSE나 MAE를, 분류 문제에는 Cross-entropy를 사용

최적화 함수 (Optimizer)

ML, DL → 모델의 목적함수(Objective Function)인 손실 함수(Loss Function)를 최소화하기 위하여 모델의 파라미터를 학습
최적화(Optimization): 손실 함수를 최소화하기 위하여 파라미터를 학습시키는 과정
손실함수 $f(x)$가 주어졌을 때 최적화의 목표는 함수 $f(x_1, …, X_n)$을 최소화하는 것 (이때 함수 f는 많은 변수를 포함)
더 알아보기

역할

• 오차 함수를 최소화하기 위해 모델의 가중치를 조정
• 경사 하강법을 사용하여 오차 함수의 기울기를 계산하고, 이를 기반으로 가중치를 업데이트
• 다양한 최적화 기법을 통해 학습 속도 및 성능을 개선

종류

• 경사 하강법 (Gradient Descent)
  • 가장 기본적인 최적화 방법
  • 오차 함수의 기울기를 따라 가중치를 조정
• 확률적 경사 하강법 (Stochastic Gradient Descent, SGD)
  • 데이터셋 전체를 사용하지 않고 일부 데이터만 사용해서 가중치를 업데이트
• Adam, RMSProp
  • 경사 하강법의 변형으로, 학습 속도 및 성능을 개선