AdaBoost (adaptive boosting)是一种可用于分类或回归的集成学习算法。尽管AdaBoost比其他大多数更能抵抗过度拟合机器学习算法,它通常对噪声数据和异常值很敏感。
AdaBoost之所以被称为adaptive,是因为它使用多次迭代来生成一个单一的复合强学习者。AdaBoost通过迭代地添加弱学习者(与真正的分类器仅略有关联的分类器)来创建强学习者(与真正的分类器有良好关联的分类器)。在每一轮的训练中,一个新的弱学习者被添加到集合中,并调整一个加权向量来关注前几轮被错误分类的例子。结果表明,该分类器比弱学习者的分类器具有更高的准确率。
自适应增强包括以下算法:
- 演算法。M1和演算法。用于二进制和多类分类的原始算法
- 二进制分类(用于无法分离的类)
- 温和的AdaBoost或GentleBoost -二元分类(用于多级范畴谓词)
- 粗壮推进-二值分类(抗标签噪声的鲁棒性)
- LSBoost—最小二乘增强(用于回归集成)
- 利用线性规划推进的多类分类
- 用于倾斜或不平衡数据的多类分类
- TotalBoost——比LPBoost更健壮的多类分类
有关自适应增强的更多信息,请参见统计和机器学习工具箱™。