机器学习：批量梯度下降法（线性回归中的使用）

一、推导目标函数

　1）基础概念

• 多元线性回归模型：
• 多元线性回归的损失函数：
• 参数 theta：θ = (θ₀, θ₁, θ_{3, ...,} θ_n)
• n：表示模型中有 n 个特征参数；
• θ₁：表示
• 梯度：，对每一个 θ_i 求一次偏导数；
• 梯度代表方向：对应 J 增大最快的方向；
• 偏导数：函数 J 中含有 n 个未知数，每次知道其中的一个未知数求导，其它数看作常量，求得的数是函数 J 的偏导数；
• 学习率：η
• theta每次变化量： | 学习率 X 梯度 | == -η *  ▽J ；（带负号 “ - ” ，因为损失函数与参数负相关，其导数值为负，变化量要为正数）