AI遮天传 ML-集成学习

发布时间:2022-09-20 17:30

“Two heads are better than one.”

“三个臭皮匠,顶一个诸葛亮”

把多个人的智慧集合到一起,可能会比一个人好,放在机器学习上,我们借鉴这一经验,把融合多个学习方法的结果来提升效果的方法,我们叫做:Ensemble learning 集成学习。

一、集成学习简介

假设我们有三个样本,h1、h2、h3代表三个分类器,预测结果如下:

AI遮天传 ML-集成学习_第1张图片

对于上图这种结果,我们可以看到h1、h2、h3预测的准确率都是2/3,我们让h1、h2、h3进行投票,发现在最后一行,三个样本都预测对了,这样便是产生了积极的影响

AI遮天传 ML-集成学习_第2张图片

AI遮天传 ML-集成学习_第3张图片

同理对于上面两种情况,分别是没有影响和产生了负面影响

由于可能会产生不同的影响,因此我们要求:分类器需要效果好不同

(效果不好(弱分类器 acc<50%):情况c,相同:情况b)

直觉: 把对同一个问题的多个预测结果综合起来考虑的精度,应该比单一学习方法效果好。

证实: (一些理由)

  • 很容易找到非常正确的 “rules of thumb(经验法则)” ,但是很难找到单个的有高准确率的规则
  • 如果训练样本很少,假设空间很大,则存在多个同样精度的假设。 选择某一个假设可能在测试集上效果较差
  • 算法可能会收敛到局部最优解。融合不同的假设可以降低收敛到一个不好的局部最优的风险。或者在假设空间中穷举地全局搜索代价太大, 所以我们可以结合一些在局部预测比较准确的假设。
  • 由当前算法定义的假设空间不包括真实的假设, 但做了一些不错的近似。

ItVuer - 免责声明 - 关于我们 - 联系我们

本网站信息来源于互联网,如有侵权请联系:561261067@qq.com

桂ICP备16001015号