Deep Neural Network의 generalization과 overfitting과 관련하여 지금까지 나온 여러 논문들을 중심으로 잘 정리한 포스팅을 공유합니다.
Risk curve나 internal dimension 같은 것들은 reproduce 하는 코드까지 작성해서 테스트도 했네요.
그냥 단순하게 알던 underfitting과 overfitting 사이의 관계나 bias와 variance 사이의 관계가 딥러닝에서 어떻게 달라지고,
단순히 hyperparameter 수를 가지고 모델의 성능을 보거나 하면 안되는 이유 등도 잘 설명되어 있습니다.
딥러닝 이론에 관심을 가지는 분들이라면 꼭 보셔야 할 글 입니다.