关于AdaBoost有效性的分析

Scidown文献预览系统！

作者：scidown 发布时间：2021-06-25 16:25:10 文章标题：

关于AdaBoost有效性的分析

文章作者：

付忠良机器学习；弱学习定理；大数定理；AdaBoost；Bagging

文章简述：

机器学习领域的弱学习定理表明，如果能找到比随机猜测稍好的弱学习算法，就能构造出具有任意精度的强学习算法。AdaBoost和Bagging是基于该定理使用最多的方法。但是AdaBoost和Bagging的许多问题还没有得到很好的解决：对AdaBoost和Bagging的误差分析不统一；AdaBoost中使用的训练误差不是真实的训练误差，而是基于样本权值的误差，如果能代表真实的训练误差，则需要解释；最后给出了保证强学习算法有效性的条件。通过调整Bagging错误率和采用加权投票的方法，统一了AdaBoost和Bagging的算法流程和误差分析。通过直接图分析，说明了弱学习算法是如何提升为强学习算法的。在大数定律对弱学习定理的解释和证明的基础上，分析了AdaBoost的有效性。采用AdaBoost的样本权重调整策略，保证正确样本的均匀分布。其训练误差的概率与实际训练误差的概率相等。为保证AdaBoost算法的有效性，提出了弱学习算法的训练规则。说明了AdaBoost的有效性，并给出了构造新的集成学习算法的方法。通过查阅Adaboost对装袋训练集的选择策略提出了一些建议。

文章下载地址（开放版）：