딥러닝 0

일전에 만들었던 자료 공유합니다.

https://goo.gl/hJpchN

우리가 사용하는 Framework들에서 코드 한 줄로 구현이 되는 parameter optimization method들을 정리해보았습니다.

선행 연구되었던 방법론들이 어떤 challenge를 겪고 그 challenge들을 어떻게 파해하여 다음 방법론들이 도출되었는지 정리해보았습니다.

해당 자료에서 정리하는 최적화 방법론들은 다음과 같은 순서로 구성되어 있습니다.

• SGD (Stochastic Gradient Descent)
• Momentum
• NAG (Nesterov Accelerated Gradient)
• AdaGrad (Adaptive Gradient)
• AdaDelta
• RMSProp
• Adam (Adaptive Moment Estimation)
• AdaMax
• Nadam (Nesterov Accelerated Adaptive Moment Estimation)
• AMSprop

최근에 나온 방법론들까지 더 포함해서 업데이트 후 배포하려 했는데 짬이 나질 않네요... ㅋㅋㅋ

해당 자료가 영어라서 불편하신 분들은 아래 강의 영상을 참고해주시면 감사하겠습니다.

https://www.twitch.tv/videos/358252044

* 자료에 대한 2차 가공 및 배포에 대해서는 엄격히 금합니다.