梯度下降与海森矩阵

理一理基础优化理论,解释一下深度学习中的一阶梯度下降遇到的病态曲率(pathological curvature)问题。当海森矩阵condition number很大时,一阶梯度下降收敛很慢,无论是对鞍点还是局部极值点而言都不是个好事。 鞍 […]

文章来源:

Author:hankcs
link:http://www.hankcs.com/ml/gradient-descent-and-hessian-matrix.html