机器学习之西瓜书+南瓜书：第三章 线性模型
发布时间：2023-10-18 13:00
这一章主要讲的是线性模型，分为回归任务和分类任务，回归任务包括一元线性回归、多元线性回归和对数几率回归，而分类任务包括线性判别分析以及多分类学习。
参考链接
1、【吃瓜教程】《机器学习公式详解》（南瓜书）与西瓜书公式推导直播合集
2 周志华老师的《机器学习》
1 线性回归
思路：
（1）模型：建立一元一次方程y=wx+b
（2）策略：采用均方误差或者极大似然估计函数作为损失函数
（3）算法：证明凸函数->求导等于零，即为局部最大（小）值
2 多元线性回归
（1）模型：建立多元变量方程
（2）策略：采用均方误差作为损失函数
（3）算法：证明凸函数（矩阵微分！）->求导等于零，即为局部最大（小）值
3 对数几率回归
在线性回归的基础上套一个映射函数（sigmoid函数）进行分类。
（1）模型：建立概率质量函数
（2）策略：采用极大似然估计作为损失函数（或者信息论中的交叉熵）
（3）算法：证明凸函数（矩阵微分！）->求导等于零，即为局部最大（小）值
4 线性判别分析
（1）模型：建立多元变量方程
（2）策略：采用均方误差作为损失函数
（3）算法：采用拉格朗日乘子法求解最优值
5 多分类学习
目前还不是很理解
6 类别不平衡问题
