📒 [ TIL ] 2022.05.16_20일차 # 머신러닝 강의학습(3)

[ 2022-05-16 (월) 오늘의 TIL ]

[ Today Learn ]

• 딥러닝의 역사배우기
• 신경망을 만드는 데 필요한 각종 개념 알아보기
• 신경망 디자인해보기

✏️ 내가 배운것, 얻은것

❓ 딥러닝이란 ?

여러 층을 가진 인공신경망을 사용하여 머신러닝 학습을 수행하는 것으로 심층학습이라고 부르며, 머신러닝의 한 종류이다.

• Deep Neural Networks 구성 방법
  딥러닝에서 네트워크의 구조는 크게 3가지로 나누어진다.
  1) 입력층: 네트워크의 입력 부분으로,학습시키고싶은 x값
  2) 출력층: 네트워크의 출력 부분으로,예측한 y값
  3) 은닉층: 입력층과 출력층을 제외한 중간층으로 은닉층은 완전연결 계층으로 이루어져있다.

• Baseline model 성능테스트 방법
  1) 네트워크의 너비를 늘리는 방법(은닉층의 노드개수늘리기)
  2) 네트워크의 깊이를 늘리는 방법(은닉층의 개수를 늘리는 방법)
  3) 너비와 깊이를 전부 늘리는 방법

❓ 활성화함수란 ?

수많은 뉴런들은 서로 서로 빠짐없이 연결되어있고, 뉴런들은 전기 신호의 크기가 특정 임계치를 넘어야만 다음 뉴런이 활성화 한다고해서 활성화 함수라고 부른다. 활성화 함수는 비선형 함수여야하며, 비선형 함수의 대표적인 예가 바로 시그모이드 함수이다.

• 활성화 함수의 종류
  
  딥러닝에서 가장 많이 보편적으로 쓰이는 활성화함수는 ReLU이다. 다른 활성화 함수에 비해 학습이 빠르고, 연산비용이 적고 구현이 간단하기 때문이다.

• 과적합현상 및 과소적합현상
  딥러닝 모델을 설계/튜징하고 학습시키다 보면 가끔씩 Training loss는 점점 낮아지는데 Validation loss가 높아지는 시점이 있는데 이런 현상을 과적합현상이라고 하고 반대의 경우를 과소적합현상이라고 한다.

💡 과적합을 해결하는 방법에는 여러가지 방법이 있지만 대표적인 방법으로는 데이터를 더 모으기, Data augmenation, Dropout, 앙상블 등이 있다.

🧩 XOR 실습

🎁 자세한 코드는 colab 에 게시했습니다.

🧩 딥러닝 실습

🎁 자세한 코드는 colab 에 게시했습니다

🌱 느낀 점

점점 내용이 깊게 들어갈수록 이해해야할 폭이 넓어져서 어려워지는게 느껴진다. 이번에 많은 이미지들을 이용해서 네트워크를 구성시켜봤는데, 추가로 은닉층을 더 추가시켜보면서 다양한 결과를 도출하면서 경험을 많이 쌓아봐야 이해하기가 훨씬 더 수월해질 것 같다! 마지막 강의 한 주차를 남기고 추후 있을 사물인식프로젝트때 어떤것을 구현할 수 있을지 기대된다.