AdaBoost(adaptive boosting)是一种集成学习算法,可用于分类或回归。尽管AdaBoost比其他许多产品更能抵抗过度装配机器学习算法,它通常对噪声数据和异常值敏感。
AdaBoost被称为自适应,因为它使用多个迭代来生成一个复合强学习器。AdaBoost通过迭代添加弱学习者(仅与真实分类器略微相关的分类器),创建强学习者(与真实分类器高度相关的分类器)。在每一轮训练中,将向集合中添加一个新的弱学习者,并调整权重向量以关注前几轮错误分类的示例。结果得到的分类器比弱学习者的分类器具有更高的准确度。
自适应增压包括以下算法:
- AdaBoost.M1和AdaBoost.M2–二进制和多类分类的原始算法
- LogitBoost–二元分类(适用于不可分离的类别)
- 温和AdaBoost或GentleBoost–二元分类(用于多级分类预测)
- RobustBoost–二进制分类(对标签噪声具有鲁棒性)
- LSBoost–最小二乘增强(用于回归集合)
- LPBoost–使用线性规划BOOST的多类分类
- RUSBoost–针对倾斜或不平衡数据的多类分类
- TotalBoost–比LPBoost更健壮的多类分类
有关自适应增压的详细信息,请参见统计和机器学习工具箱™.