fitensemble
适合学习者的集体分类和回归
语法
描述
fitensemble可以提升或袋子决策树学习者或判别分析分类器。该功能还可以培训KNN或判别分析分类器的随机子空间集合。
对于适合分类和回归集成的更简单的接口，请使用fitcensemble和fitrensemble， 分别。还，fitcensemble和fitrensemble提供贝叶斯优化选项。
例子
估计助推合奏的重新损失
估计经过训练的、增强的决策树分类集成的再替换损失。
加载电离层数据集。
负载电离层；
使用AdaBoost、100个学习周期和整个数据集训练决策树集合。
classtreeens = fitysemble（x，y，“AdaBoostM1”, 100,'树'）;
Classtreeens.是训练有素的分类素..集成分类器。
确定累积重新提交损失（即，培训数据中标签的累积错误分类错误）。
rsloss = Resubloss（Classtreeens，“模式”，'累积'）;
rsLoss是一个100×1的矢量，其中元素k包含第一个后的再替换损失k学习周期。
绘制累计再替换损失除以学习周期数的曲线。
情节(rsLoss);包含(“学习周期的数量”）;ylabel ('补偿损失'）;
一般情况下，随着训练分类集成中决策树数量的增加，再替换损失减小。
再替换损失的减少可能表明该软件对集成进行了合理的训练。然而，您不能通过这种减少来推断集成的预测能力。为了度量集合的预测能力，可以通过以下方法估计泛化误差:
将数据随机划分为训练集和交叉验证集。通过指定
'octout'，holdoutpropoft当你用fitensemble．把训练有素的服装传递给
kfoldLoss，估计泛化误差。
火车回归合奏
使用训练有素的提升的回归树系列来预测汽车的燃油经济性。选择圆柱体的数量，汽缸，马力和重量作为预测因子。然后，使用较少的预测器培训合奏，并将其对第一集合的样本预测精度进行比较。
加载carsmall数据集。将培训数据存储在表格中。
负载carsmallTBL =桌子（圆柱，位移，马力，重量，MPG）;
指定回归树模板，该模板使用代理分割来提高存在时的预测准确性南价值观。
t = templateTree ('代理'，“上”）;
使用LSBoost和100个学习周期训练回归树集成。
mdl1 = fitysemble（tbl，“英里”，“LSBoost”，100，t）;
Mdl1是训练有素的RegressionEnsemble回归合奏。因为MPG.是Matlab®工作区中的变量，您可以通过输入获取相同的结果
Mdl1 = fitensemble (MPG,台“LSBoost”,100年,t);
使用训练过的回归集合来预测一辆排量为200立方英寸、马力为150马力、重量为3000磅的四缸汽车的燃油经济性。
predMPG = predict(Mdl1，[4 200 150 3000])
predMPG = 22.8462
具有这些规格的汽车的平均燃油经济性是21.78英里每加仑。
使用所有预测器培训新的合奏TBL.除了移位．
公式='MPG ~气缸+马力+重量'；mdl2 = fitysemble（tbl，公式，“LSBoost”，100，t）;
比较两者的再取代mseMdl1和Mdl2．
MSE1 = RERUBLOS（MDL1）
mse1 = 6.4721
MSE2 = RERUBLOS（MDL2）
mse2 = 7.8599
所有预测因子列车的集合的样本MSE是较低的。
估算助推系综的泛化误差
估计训练，提升决策树的泛化误差。
加载电离层数据集。
负载电离层；
使用AdaBoostM1训练决策树集合，100个学习周期，并随机选择一半的数据。软件使用剩下的一半来验证算法。
rng (2);重复性的％classtreeens = fitysemble（x，y，“AdaBoostM1”, 100,'树'，......“坚持”, 0.5);
Classtreeens.是训练有素的分类素..集成分类器。
确定累积泛化误差，即验证数据中标签的累积错误分类错误）。
generror = kfoldloss（classtreeens，“模式”，'累积'）;
generror.是一个100×1的矢量，其中元素k在第一个后包含泛化错误k学习周期。
绘制泛化误差除以学习周期数的曲线。
情节(genError);包含(“学习周期的数量”）;ylabel ('泛化误差'）;
当25个弱学习者组成集合分类器时，累积泛化误差减少到大约7％。
为一个集合找到最优的劈叉和树的数目
您可以在决策树的集合中控制树木的深度。您还可以使用使用该决策树二进制学习者的Ecoc模型中的树深度来控制树形深度MaxNumSplits，MinLeafSize,或MinParentSize名称值对参数。
当套用决策树时，
fitensemble默认情况下变得深深的决策树。您可以成长较浅的树木以降低模型复杂性或计算时间。当提升决策树时，
fitensemble在默认情况下生长树桩(一棵有一个分叉的树)。你可以种植更深的树以获得更好的精度。
加载carsmall数据集。指定的变量加速度，移位，马力,重量为预测因子,MPG.作为响应。
负载carsmallX = [加速位移马力重量];y = mpg;
用于增强回归树的树深度控制器的默认值为:
1为MaxNumSplits．这个选项生长了树桩。5为MinLeafSize10为MinParentSize
搜索最佳分割次数:
训练一套服装。指数增加从树桩到最多的后续合奏的最大分割数n- 1分裂，在哪里n是训练样本大小。此外，将每个集合的学习率降低1至0.1。
交叉验证集成。
估计每个合奏的交叉验证的均衡错误（MSE）。
比较交叉验证的mses。具有最低一个最低的集合最佳，并指示数据集的最佳最大拆分数，树数和学习率。
生长和交叉验证一个深度回归树和一个树桩。指定使用代理分割，因为数据包含缺失值。这些都是基准。
MdlDeep = fitrtree (X, Y,“CrossVal”，“上”，'mergeleaves'，'离开'，......“MinParentSize”，1，'代理'，“上”）;mdlstump = fitrtree（x，y，'maxnumsplits'，1，“CrossVal”，“上”，'代理'，“上”）;
使用150个回归树培训提升乐队。交叉使用5倍交叉验证验证集合。使用序列中的值改变最大分割数 ， 在哪里米是这样的, 不大于n- 1,n是训练样本大小。对于每个变型，将学习速率调整为集合{0.1,0.25,0.5,1}中的每个值;
n =大小(X, 1);M =底(log2(n - 1));Lr = [0.1 0.25 0.5 1];maxNumSplits = 2。^ (0:m);numTrees = 150;Mdl =细胞(元素个数(maxNumSplits),元素个数(lr));rng (1);重复性的％为k = 1:元素个数(lr);为j = 1：numel（maxnumsplits）;t = templateTree ('maxnumsplits'maxNumSplits (j),'代理'，“上”）;mdl {j，k} = fitysemble（x，y，“LSBoost”numTrees t......'类型'，'回归'，'kfold'，5，“LearnRate”，lr（k））;结束；结束；
计算每个合奏的交叉验证的MSE。
kflall = @（x）kfoldloss（x，“模式”，“累积”）;errorcell = cellfun（kflall，mdl，'制服'、假);error = replaceall (cell2mat(errorCell)，[numTrees nummel (maxnumsplents) nummel (lr)]); / /重新命名errorDeep = kfoldLoss (MdlDeep);errorStump = kfoldLoss (MdlStump);
绘制交叉验证的MSE在一些集成、深层树和树桩的集成中树的数量增加时的行为。在同一图中绘制关于学习率的曲线，并根据不同的树的复杂性绘制不同的图。选择树复杂度级别的子集。
mnsplot = [1 round（numel（maxnumsplits）/ 2）numel（maxnumsplits）];数字;为k = 1:3;次要情节(2 2 k);情节(挤压(错误(:,mnsPlot (k):)),'行宽'2);轴紧的；抓住在；H = GCA;绘图（H.xlim，[Errordeep Errordeep]，“。b”，'行宽'2);情节(h。XLim,[errorStump errorStump],“r”，'行宽'2);绘图（H.xlim，min（min（错误（：，mnsplot（k），:)））。* [1 1]，“——k”）;H.YLIM = [10 50];XLabel.'树的数量'；ylabel.'交叉验证的MSE'；标题（Sprintf（'maxnumsplits =％0.3g'，maxnumsplits（mnsplot（k）））））））;抓住从；结束；hL =传奇([cellstr num2str (lr ','学习率= %0.2f'））;......'深树'；“树桩”；'闵。MSE']）;HL.Position（1）= 0.6;
每条曲线都包含一个最小的交叉验证MSE，该MSE发生在集合中最优树的数量上。
确定总体上最低MSE的最大分裂数，树木数量和学习率。
[minErr, minErrIdxLin] = min(错误(:));[idxNumTrees, idxMNS idxLR] = ind2sub(大小(错误),minErrIdxLin);流('\ nmin。MSE =％0.5F'minErr)
闵。MSE = 18.42979.
流(“\ nOptimal参数值:\ nNum。树= % d '，idxnumtrees）;
最佳参数值：num。树木= 1
流('\ nmaxnumsplits =％d \ nlearning率=％0.2f \ n'，......maxNumSplits (idxMNS), lr (idxLR))
学习速率= 1.00
要了解优化这个集成的不同方法，请参见优化增强回归集成．
输入参数
输出参数
提示
nlearn.从几十个到几千个不等。通常，一个具有良好预测能力的集成需要几百到几千个较弱的学习者。然而，您不需要一次训练那么多周期的合奏。你可以从培养几十个学习者开始，检查合奏表演，然后，如果有必要的话，用它来训练更多的弱学习者的简历对于分类问题，或者的简历回归问题。合奏性能取决于集合设置和弱学习者的设置。也就是说，如果使用默认参数指定弱的学习者，则集合可以表现不佳。因此，与集合设置一样，使用模板调整弱学习者的参数是好的做法，并选择最小化泛化误差的值。
在分类问题（即，
类型是'分类'）：如果集合-聚合方法(
方法)是'包'和:误分类成本(
成本)是高度不平衡的，因此，对于包内样本，软件抽样从班级的独特观察，有很大的惩罚。类先验概率(
之前）高度倾斜，软件已经过度地过度了从具有大的概率的类的独特观察。
对于较小的样本量，这些组合可能导致具有较大惩罚或先验概率的类的袋外观察的相对频率较低。因此，估计的包外误差是高度可变的，它可能很难解释。为了避免估计出的大的包外误差方差，特别是对于小样本容量，设置一个更平衡的误分类成本矩阵使用
成本或使用较少的先前概率向量使用之前．由于某些输入和输出参数的顺序对应于训练数据中的不同类，因此使用
一会名称-值对的论点。为了快速确定类的顺序，从训练数据中删除所有未分类的观察(即缺少标签)，获取并显示所有不同类的数组，然后指定数组
一会．例如，假设响应变量（Y)是标签单元格数组。这段代码指定了变量中的类顺序一会．Ycat =分类(Y);一会=类别(Ycat)
分类分配<定义>对非机密的观察和类别排除<定义>从它的产出。因此，如果使用此代码用于标签的单元格或分类数组的类似代码，则您不必删除缺少标签的观察，以获取不同类的列表。要指定从最低表示的标签到最高表示的标签的类顺序，那么要快速确定类顺序(如前面的项目符号所示)，但是在将列表传递给之前，要按频率排列列表中的类
一会．在前面的例子中，这段代码指定了类从最低到最多的顺序Classnameslh.．Ycat =分类(Y);一会=类别(Ycat);频率= countcats (Ycat);[~, idx] =(频率)进行排序;classNamesLH =一会(idx);
算法
关于集合聚合算法的详细信息，请参见合奏算法．
如果您指定
方法成为促进算法和学习者决策树，然后软件增长树桩默认情况下。一个决策桩是一个根节点连接到两个终端，叶节点。属性可以调整树的深度MaxNumSplits，MinLeafSize,MinParentSize名称-值对参数使用Templatetree.．fitensemble通过过采样的超采样产生内部样本，具有大的错误分类成本和具有小错误分类成本的欠采样类。因此，袋袋样品具有较少的分类成本和具有小错误分类成本的课程的观察的较少观察。如果您使用小数据集和高度倾斜的成本矩阵训练分类集合，那么每类的袋子外观测的数量可能很低。因此，估计的袋误差可能具有大的方差并且可能难以解释。对于具有大的概率的课程，可以发生同样的现象。对于RUSBoost集成聚合方法(
方法），名称值对参数RatioToSmallest指定每个类相对于最小代表类的抽样比例。例如，假设训练数据中有两个类:一个和B．一个有100个观察结果B有10个观察。同样，假设最低代表的类具有米对训练数据的观察。如果你设置
“RatioToSmallest”,2,然后年代＊米2 * 10＝20.．最后，fitensemble用课堂上的20个观察结果训练每一个学习者一个以及20个课堂观察B．如果你设置'ratiotosmallest'，[2 2]，则得到相同的结果。如果你设置
'ratiotosmallest'，[2,1],然后s1＊米2 * 10＝20.和s2＊米1 * 10＝10．最后，fitensemble用课堂上的20个观察结果训练每一个学习者一个以及10个课堂观察B．
对于决策树的合奏，以及双核系统及以上的合奏，
fitensemble使用英特尔并行化培训®线程构建块（TBB）。有关英特尔TBB的详细信息，请参阅https://software.intel.com/en-us/intel-tbb.．
参考
[1] Breiman，L。“袋装预测器。”机器学习．1996年第26卷，123-140页。
[2]布雷曼，L.《随机森林》。机器学习．第45卷，第5-32页，2001。
[3] Freund, Y.“一个更健壮的助推算法。”v1 arXiv: 0905.2138, 2009年。
弗洛因德，Y.和R. E. Schapire。在线学习的决策理论推广及其在助推中的应用计算机与系统科学博士，卷。55，PP。119-139,1997。
[5] Friedman, J. <贪婪函数近似:梯度增压机>统计年鉴，卷。29，第5页，第5页，PP。1189-1232，2001。
Friedman, J.， T. Hastie，和R. Tibshirani。加性逻辑回归:助推的统计学观点统计年鉴，第28卷，第2期，第337-407页，2000。
Hastie, T.， R. Tibshirani, J. Friedman。统计学习的要素section edition，施普林格，New York, 2008。
[8] Ho, T. K. <构建决策森林的随机子空间方法>。模式分析与机器智能学报，卷。20，第8页，第8页，第832-844,1998。
Schapire r.e.， Y. Freund, P. Bartlett和W.S. Lee。“扩大差额:对投票方法有效性的新解释。”统计年鉴，卷。26,5，PP。1651-1686,1998。
Seiffert, C.， T. Khoshgoftaar, J. Hulse和A. Napolitano。“RUSBoost:在训练数据有偏差时提高分类性能。”第十九届国际模式识别会议，第1-4页，2008。
[11] Warmuth，M.，J. Liao和G. Ratsch。“完全纠正促进算法，最大化边缘。”Proc, 23日国际。Conf. on Machine Learning, ACM，纽约，页1001-1008,2006。
另请参阅
ClassificationBaggedensemble.|分类素..|ClassificationPartitionedEnsemble|RegressionBaggedEnsemble|RegressionEnsemble|回归分役部门|模板异教徒|templateKNN|Templatetree.
主题
你也可以从以下列表中选择一个网站:
