NIPS 2012에 나왔던 Practical Bayesian Optimization of Machine Learning Algorithms 라는 논문을 읽고 있습니다.
Hyperparameter Tuning 를 ML model로 처리하는 Meta Learning과 관련된 논문이고,
Bayesian Optimization이 이 논문 이전에는 ML 분야에 적용된 사례가 없었는데
이 논문을 기반으로 Bayesian Optimization 이 ML에서 쓰였다고 봐도 무방한 논문입니다.
해당 내용에 대한 Review 비디오를 보다보니 당시 논문을 발표한 저자가 NIPS 발표에서 자조적으로 드립을 쳤던게 있더군요..
Grid Search / Random Search 와 같은 Heuristic 하거나 무식한 방법들과 비교하여
대학원생을 시킨다는 내용이 나와서 저도 모르게 웃음과 동시에 눈물을 흘리고 말았습니다..
대학원생분들 힘내세요.. BibleThump