📕 TIL DAY19 05.16.월

리마인드

• 딥러닝 복습

느낀점

적정적합의 방법이 인간의 교육에 있어서도 최선이 아닐까? 라는 의문이 들었다.
적정적합은 평소에는 눈에 띄지 않지만 실제로는 가장 좋은 결과를 내고 비선형의 결과보다 선형의 결과가 더 좋다. 이는 결국 Simple is the best의 원리가 여기서도 적용되는 것처럼 보인다.

validation만 높으면 암기만 한 사람인 것 처럼 결국 결과를 보았을때나 과정을 보았을 때 중요한 포인트를 잡아 스스로 원리를 깨우치는 것이 중요할 터, 이를 무시하고 모든 자투리 정보(노이즈)까지 받아들이고 모든걸 해결하려 한다면 결국 불운을 낳게된다는 것을 알게되었다. 결국은 단순한게 최고다. 어디서든 노이즈를 제거하고 집중하는게 중요하다고 새삼스레 느낀날이다. 집중할 곳에 집중하자.

참조)
오컴의 면도날(Occam's Razor )에 의하면 복잡한 모델보다는 단순한 모델을 선택(선호)하라고 합니다.  Variable, Feature를 있는 것 모두 때려 집어넣고 모델 만들지 말고 똘똘한 Variable, Feature를 선별해서 가능한 단순하게 만들라는 것입니다.  복잡한 비선형 모델보다는 선형모델을 더 선호하라는 것이구요.  오컴의 면도날은 과적합(over-fitting)을 아주 싫어한다고 말할 수 있겠습니다.