机器学习算法工程师,吴恩达机器学习笔记

1 学习率的大小 

 2 Adagrad 2.1 Adagrad结论

 2.2 Adagrad推导

 g不变

η随着t的增加而减少

σ是之前梯度的均方根

 

 3 Adagrad的缺点

如果我们把 视为学习率的话，那么学习率会很快降到一个很小的值，之后会很慢收敛了。