규제는 과잉적합을 피하기 위해서 쓰는것
대부분 가지고 있는 데이터에 비해 훤씬 큰 용량의 모델을 사용
매개변수 > 데이터
규제란 어떤 범위를 정해두고 벗어나지 못하게 하는것.
가정은 입력과 출력 사이의 변환은 매끄럽다
유사한 데이터는 가깝게 매핑된다.
validation은 test랑 똑같음.
그렇기 때문에 dropout말고 커넥션 살려야함.
배치 사이즈 관련
https://blog.naver.com/qbxlvnf11/221449595336
https://m.blog.naver.com/qbxlvnf11/221449297033
https://hongdoki.github.io/2017/10/07/optimization-difficulty-and-generlization-performance-as-batch-size-increases.html
오늘부터 열심히 산다