[西瓜书笔记] CH1绪论&CH2模型评估与选择

发布时间:2023-08-19 17:30

第一章 绪论

  1. 机器学习
    - 计算的手段
    - 自身经验(数据)
    - 改善性能(学习算法→模型)
  2. 属性空间={属性1,属性2,…}
  3. 分类
    [西瓜书笔记] CH1绪论&CH2模型评估与选择_第1张图片
  4. 泛化(generalization):适用于新样本的能力
    模型应注重于预测未知,拟合未知
  5. 独立同分布i.i.d
  6. 归纳:所有匹配的假设→假设空间→版本空间
  7. 归纳偏好(优先考虑实际业务)

第二章 模型的评估与选择

  1. error rate:错误率 E=a/m
    accuracy:精度 1-a/m
  2. 误差error:
    - 训练集→训练误差 经验误差
    - 新样本→泛化误差【目标:减小泛化误差
  3. 拟合,过拟合overfitting,欠拟合underfitting
  4. 验证集应尽可能与训练集互斥
  5. 用测试集上的判别效果来估计模型在实际使用时的泛化能力,而把训练数据另外划分为训练集和验证集,基于验证集上的性能来进行模型选择和调参

模型评估方法

  1. 留出法(hold-out): 将数据集划分为两个互斥的集合,一个用于训练S,一个用于验证T。D=S \cup T,S \cap T = \emptset
    - 保持样本类别比例相似 → 分层采样stratified sampling
    - 若干次随机划分、重复实验后取平均值作为评估结果
    - 缺点:S过多,T较小,评估结果不稳定准确;T过多,评估模型会和D训练出的模型有较大差别,降低评估结果的保真性
    - 常见解决做法:2/3 - 4/5用于训练,剩余用于验证
  2. k折交叉验证法(k-fold cross validation):将数据集D划分为k个大小相似的互斥子集,每个子集都尽可能保持数据分布的一致性。每次用k-1个子集的并集作为训练集,剩余的一个子集作为验证集。进行k次训练和验证,返回k个验证结果的均值。
    - 常用k=10,其次为5、20
    - 为减少样本划分不同引入的区别,随机使用不同的划分进行p次k折交叉验证
    - 特例:当k=数据集D样本数,留一法(Leave-One-Out,LOO)。用留一法实际评估的模型与期望评估用D训练出的模型相似(,但是数据量大时开销过大。
  3. 自助法(bootstrapping):每次随机从D中挑选一个样本将其拷贝放入D’ ,然后再将该样本放回初始数据集D中,使得该样本在下次采样时仍有可能被采到;这个过程重复执行m 次后,我们就得到了包含 m 个样本的数据集 D’。
    - 有1/3的数据不会在训练集中出现
    - 适用于数据集较小、难以有效划分训练验证集的场合;初始数据集产生多个不同的训练集,利于集成学习
    - 会引入估计偏差

性能度量(performance measure)

  • 衡量模型泛化能力的评价标准,反映了任务需求
  • 回归任务:均方误差(mse)
  • 分类任务:
    1. 错误率和精度
    2. 查准率percision、查全率recall、F1
      - TP+FP+TN+FN=样本总数
      [西瓜书笔记] CH1绪论&CH2模型评估与选择_第2张图片
      - 查准率P=TP/(TF+FP)
      - 查全率R=TP/(TP+FN)
      - 查准率和查全率是矛盾的
      - P-R曲线:若一个学习器的P-R曲线被另一个学习器的曲线完全"包住" , 则可断言后者的性能优于前者;若发生交叉难以断言有了程度。
      - 平衡点(Break-Event Point,BEP):查准率=查全率。两个学习器之间,若A的平衡点大于B的平衡点,那么学习器A优于B
      - F1度量:在这里插入图片描述
      - 由于不同场景对查准率和查全率重视程度不同,F1度量的一般形式表达对查准率和查全率不同的偏好。\beta=1, F_\beta = F1; \beta>1, 查全率有更大影响;\beta<1,查准率有更大影响。

      - 多次训练/验证得到多个二分类混淆矩阵,为了综合考察查准率和查全率,有几种做法:①分别计算P和R,再计算平均值,得到宏查准率marco-P、宏查全率、宏F1 ;② 先将混淆矩阵对应元素进行平均,得到TP、FP、TN、FN的平均值,再基于平均值计算微查准率、微查全率、微F1。
      [西瓜书笔记] CH1绪论&CH2模型评估与选择_第3张图片

ItVuer - 免责声明 - 关于我们 - 联系我们

本网站信息来源于互联网,如有侵权请联系:561261067@qq.com

桂ICP备16001015号