[CNN-LSTM] Dropout?

📝 파라미터의 변화보다 오버피팅을 해결해야한다는 피드백을 받았다.

📝 오버피팅 문제를 dropout으로 해결해보는 건 어떠냐는 피드백과 함께 ,,

• 우리의 dropout은..? 하고 확인해봤다.
• dropout은 한 층으로, 0.5 였다.

---

📌 overfitting을 해결하는 방법

1. 데이터 셋

2. regularization (일반화)

• 학습하는 데이터 수가 많아야함.
• 필요없는 feature(column)들은 학습에서 제한다.
• 중복되는 feature 또한 합치거나, 단일화 시켜줘야함.

📌 Dropout?

• 과적합은 모델이 훈련 데이터셋을 과도하게 학습하여 훈련 데이터셋에 대해서는 모델의 성능이 좋지만, 새로운 데이터셋에 대해서는 오히려 성능이 떨어지는 현상을 말한다.
• 이러한 과적합을 방지하기 위해 dropout layer을 사용하는데, 말 그대로 네트워크의 일부를 생략하는 것이다.
• 학습 사이클이 진행되는 동안 무작위로 일부 뉴런을 생략하여 오버피팅을 방지한다.

🌱 그렇다면,,?
✔️ dropout 값 0.1, 0.3, 0.7 로 진행해보기 ✅
✔️ 옵티마이저 adam, nadam 으로 바꿔보기 (멘토님 피드백) ✅
✔️ dropout 층 추가해보기 - 우리는 1층 밖에 없음

---

✅ dropout 값 [ 0.1, 0.3, 0.7 ] 로 진행해보기

💫 dropout : 0.1

💫 dropout : 0.3

💫 dropout : 0.7

🌱 확실히 dropout 값을 낮췄더니 더 안정적인 결과가 나오는 것을 확인할 수 있었다. 하지만 무조건적으로 0.1로 할 순 없을 것같다. 0.3이 train acc가 더 높기 때문,,

---

✔️ 옵티마이저 adam, nadam 으로 바꿔보기 (멘토님 피드백)

💫 adam

💫 nadam

🌱 멘토님의 피드백으로 옵티마이저를 변경해보았는데, (기존은 sgd) 옵티마이저를 변경하는 것은 좋은 방안은 아닌 것 같다.

---

❓ dense? dropout? - 우리 모델에 대한 이해도 높이기
❓ 기존 처음 참고하던 논문은 incepton v3, adam 사용.

---

참고
https://blog.naver.com/PostView.naver?blogId=laonple&logNo=220818841217

https://hyewonleess.github.io/cnn/CNN_options/

https://pythonkim.tistory.com/42