parameter 수

수업을 기준으로 하는 2020년에는 parameter의 수를 줄이는 것이 관건이라고 했다. 왜냐하면 그럴수록 학습이 잘되고 일반적인 성능을 올리거나 generalize performance에도 좋다.

하지만 오늘 master 클래스에서 교수님께서 2021년에서는 아니라고 하셨다.
openai에서 발표된 논문이 있는데, parameter를 늘릴수록 generalize performance가 좋다고 한다. 또한 학습을 할 수 있는 자원이 있다면, 늘리는 것이 학습이나 성능 면에서 더욱 유리하다고 했다.