교육8주차(1)

😉 한주가 밀리니 이번주도 밀리고 이제 안밀리고 꾸준히~~!!

앞선 머신러닝 부분과 딥러닝 부분 복습

딥러닝 이란

인공신경망을 기반으로 한 머신러닝의 한 부분

• 이미지 분류
• 컴퓨터 비전

기본적인 지식

• 입력층: 데이터를 받아들이는 첫번째 층

• 은닉층: 데이터를 처리하는 중간 층

  • 여러 개의 층으로 구성될 수 있으며, 각 층의 뉴런 수는 조절 가능합니다.

• 출력층: 최종 결과를 내보내는 마지막 층

• 활성화 함수 (ReLU, Sigmoid, Tanh)

  • 뉴런의 출력을 결정하는 함수
  • 활성화 함수는 신경망이 복잡한 비선형적 예측을 학습할 수 있게 해주는 핵심 요소
  • 적절한 활성화 함수 선택은 모델의 성능과 학습 속도에 큰 영향을 미침
  • 문제의 특성과 네트워크 구조에 따라 적합한 활성화 함수를 선택할수 있음

• 특징

  • 비선형성 도입: 복잡한 패턴을 학습할 수 있게
  • 신경망의 표현력 증가: 다양한 함수를 근사할 수 있게 함
  • 그래디언트 흐름 조절: 역전파 과정에서 중요한 역할

• 활성화 함수 종류

최적화

• 손실의 값을 최소화하는 모델 파라미터를 찾는 과정
• 모델의 예측값과 실제 정답 사이의 차이를 최소화하여 모델의 성능 향상

경사하강법

• 기울기가 최소가 되는 값으 찾아 점점 내려가는 알고리즘
• x측: 최적 파라미터 y측: cost function

손실함수

• 목적함수 : 학습을 통해 비용을 최소하시키는 최적화 함수
• 손실함수 : 하나의 입력값에 대해서 오차를 계산하는 함수
• 비용함수 : 모든 입력값에 대해 오차를 계산하는 함수

에포크

• 전체 훈련 데이터셋이 신경망을 통과한 횟수

epoch 1번: 전체 훈련 데이터셋이 배치 단위로 나뉘어 하나의 신경망에 적용되어 순전파와 역전파 과정을 거쳐 신경망을 한 번 통과(학습에 사용되는 것)했다는 것을 의미

 에포크 수가 중요한 이유

1. 너무 적은 에포크: 모델이 충분히 학습하지 못함
2. 너무 많은 에포크: 과적합 발생 가능
3. 적절한 에포크: Early Stopping 등을 통해 결정

• 과적합을 방지하기 위해 모델의 성능이 더 이상 개선되지 않을 때 학습을 자동으로 중단하는 기법

배치 사이즈(Batch size)

• 미니 배치 크기(Mini-batch Size)
• 배치셋 수행을 위해 전체 학습 데이터셋을 등분하는 크기
  • 전체 데이터를 한 번에 처리 → 메모리 부하 ↑, 학습 속도 ↓
  • 미니 배치로 나누어 처리 → 메모리 효율, 학습 속도 ↑

드롭아웃(Dropout)

정규화 기술을 사용하여 신경망에 과적합을 방지함

모델을 사용하도록 신경망을 훈련할 떄 과적합이 아닌 경우 은닉층이 삭제됨

배치 정규화 (Batch Normalization)

• 각 레이어의 입력을 정규화하여 학습 속도를 높이는 방법