发布时间：2023-07-24 10:30
gradient趋于0，到达critical point（临界点）
by Taylor Series
针对一个w在update过程中卡住的问题，可以尝试的改进思路：01-样本量：每次update不取全部的样本，而是取一定量的batch，然后进行不断的shuffle；02-步长：自适应学习率；03-每一步的方向：momentum。
batch是hyperparameter，需要尝试调参
| large-sized batch | small-sized batch | |
|---|---|---|
| time during one epoch | short | long |
| 训练和预测的效果 | 较差 | 较好 |