📖 학습한 내용

• 활성화함수
• MLP

📖 핵심내용

📌 활성화함수

• 활성화함수 : 입력 신호의 총합을 출력 신호로 변환하는 함수

• 역할 : 특정한 노드가 종속변수의 값을 예측하는데 기여하는 정도 반영

• 주요 조건
  비선형이야한다. 선형이라면 아무리 많은 활성화 함수를 거쳐도 선형이기에 표현할 수 없는 모델링이 많다.
  미분이 쉬워야한다.

• 주요 활성화 함수
  시그모이드
  렐루
  하이퍼블릭 탄젠트
  소프트맥스
  

  https://paperswithcode.com/methods/category/activation-functions

📌 MLP

전통적인 ML 알고리즘과 딥러닝

• ML : 데이터의 선형성, 분포 등에 대한 가정을 기반
• 딥러닝 : 복잡한 데이터 구조와 패턴 학습 가능, 비선형성

NN의 구조

• 뉴런의역할
  비선형성 추가: 활성화 함수를 통해 비선형성을 도입 -> 복잡한 패턴과 함수 학습 가능

• 가중치 역할
  입력 중요도 조절: 가중치는 각 입력 신호의 중요도를 조절
  학습을 통한 최적화: 학습 과정에서 가중치 조정, 비용 함수를 최소화하는 방향으로 학습(=가중치 조정)

• bias 역할
  신경망이 다양한 문제에 더 잘 일반화할 수 있도록 도움
  활성화 함수가 결정하는 임계값 이상일 때 노드 활성화 => bias 값이 노드의 활성화 조절

• 출력층
  분류문제 - 종속변수가 취할 수 있는 값의 수

MLP

• 비선형성: 비선형 활성화 함수를 사용하여 선형적으로 구분되지 않는 데이터 처리

• 가중치(weights)와 편향(biases)을 조정 -> 주어진 입력에 대한 예측 오류를 최소화하도록 학습

• 단층 신경망의 한계 : XOR 문제 - 선형 분리 불가능(Linearly inseparable) 문제, 대부분이 선형적으로 모델링 되지 않음
  -> 오차역전파법으로 히든레이어 사용가능하게 되었다.

• 인공 신경망 학습 프로세스
  ① 데이터 세팅 (with target data)
  ② 학습 데이터와 평가 데이터로 분리
  ③ 신경망 (딥러닝 모델)을 이용해 데이터에 존재하는 독립변수와 종속변수의 관계 파악 <- 학습 = 비용함수를 최소화하는 파라미터의 (최적)값을 탐색
  ④ 모델 성능 평가
  ⑤ 훈련된 모델을 사용하여 새로운 데이터에 대해 종속변수의 값을 예측

• 과적합(Overfitting) 및 정규화(Regularization)

  • 학습 과정 중 과적합 발생 가능(학습 데이터에 대해 너무 잘 맞추어져 새로운 데이터에 대한 일반화 성능이 떨어지는 현상)
  • 이의 방지를 위해 정규화 기법(L1, L2 규제, 드롭아웃 등)을 사용. 모델의 복잡도를 제어하고, 과적합을 줄임

📖 흥미로운 점 / 새로 알게된 점

• 정규화 기법 L1, L2

  • L1 정규화 방식으로 계산을 하면 업데이트된 가중치 값을 0으로 만들 수 있다.
    따라서 특정 가중치에 영향을 많이 주는 피처를 계산과정에서 없앨 수 있다.

  • L2 정규화 방식으로 계산하면 업데이트 된 가중치들이 작은 값이 되어서, 가중치간에 큰차이가 없어진다.
    따라서 피처들의 특징을 골고루 반영할 수 있다

📖 어려운 부분

1. 소프트맥스 가장큰 값에 대해서 큰 가중치를 부여한다는게 무슨말인지,
2. 각 클래스별 출력값을 0~1로 변환하는데 이들의 합이 어떻게 1이되는것인지.
3. 활성화 함수가 결정하는 임계값 이상일 때 노드 활성화
4. 바이어스 값이 노드의 활성화를 조절한다는게 무슨말인지.
   
   

5. 드랍아웃때 바이어스의 값도 포함되어서 끊기는지

6. 아파트전세가격을 분석하려면 시계열로 해야하는것인지? -> 시계열 관련 데이터가 하나라도 있다면 시계열 데이터 분석?

7. 트레인데이터와 테스트 데이터 합쳐서 결측치 채우고 분리해도 되는지?

📖 이후 학습 계획

• MLP