templateTree
创建决策树模板
描述
t= templateTreet作为学习者使用:
fitcensemble分类的集合体fitrensemble回归的集合体fitcecoc用于ECOC模式分类
如果指定默认决策树模板，则软件在训练期间对所有输入参数使用默认值。最好的做法是指定决策树的类型，例如，对于分类树模板，指定“类型”，“分类”．如果您指定决策树和显示的类型t在命令窗口，然后所有选项，除了类型空空如也(［］）.
例子
创建带有代理分割符的分类模板
创建具有代理拆分的决策树模板，并使用该模板使用示例数据训练集成。
载入费雪的虹膜数据集。
负载fisheriris
创建带有代理分割的树桩决策树模板。
t = templateTree (“代孕”，“上”，“MaxNumSplits”, 1)
t =适合树的模板。代理:'on' maxnumsplit: 1
模板对象的选项为空，除了代理和最大数分裂．当你通过t对于培训功能，软件用它们各自的默认值填充空选项。
指定t作为分类集成的弱学习器。
Mdl = fitcensemble(量、种类、“方法”，“AdaBoostM2”，“学习者”, t)
Mdl=ClassificationnSemble ResponseName:'Y'分类预测值：[]类名：{'setosa''versicolor''virginica'}ScoreTransform:'none'numobervations:150 NumTrained:100方法：'AdaBoostM2'LearnerNames:{'Tree'}推理终止：'在完成请求的训练周期数后正常终止。'FitInfo:[100x1 double]FitInfoDescription:{2x1 cell}属性、方法
显示样本内(再替换)误分类错误。
L = resubLoss (Mdl)
L=0.0333
使用交叉验证优化回归集成
创建具有令人满意的预测性能的增强回归树集合的一种方法是使用交叉验证调优决策树的复杂性水平。在寻找最优复杂度的同时，调整学习速率以最小化学习周期的数量。
本例通过使用交叉验证选项（“KFold”名称-值对参数)和kfoldLoss函数。或者，您可以使用“优化超参数”名称-值对参数自动优化超参数。看到优化回归合奏．
加载carsmall数据集。选择气缸的数量，由气缸取代的体积，马力，和重量作为燃料经济性的预测。
负载carsmall台=表(汽缸、排量、马力、重量、MPG);
用于增强回归树的树深度控制器的默认值为:
10对于最大数分裂．5对于MinLeafSize10对于MinParentSize
为了寻找最优的树复杂度水平:
交叉验证一组集成。指数级增加后续集成的树复杂度，从决策树桩(一次拆分)到最多n- 1分裂。n为样本量。另外，每个集合的学习率在0.1到1之间变化。
估计每个集合的交叉验证均方误差(MSE)。
tree-complexity水平 ， ，通过绘制它们与学习周期数的关系，比较集成的累积的、交叉验证的MSE。在同一个图上为每个学习率绘制单独的曲线。
选择达到最小MSE的曲线，并记录相应的学习周期和学习速率。
交叉验证一个深度回归树和一个树桩。因为数据包含丢失的值，所以使用代理分割。这些回归树可以作为基准。
rng (1)%的再现性MdlDeep = fitrtree(资源描述,“英里”，“克罗斯瓦尔”，“上”，“MergeLeaves”，“关闭”，．..“MinParentSize”, 1“代孕”，“上”）;MdlStump = fitrtree(资源描述,“英里”，“MaxNumSplits”, 1“克罗斯瓦尔”，“上”，．..“代孕”，“上”）;
使用5倍交叉验证对150棵增强回归树进行交叉验证。使用树模板:
使用序列中的值改变分割的最大数目 ．米是这样的 不比n- 1。
打开代理劈叉。
对于每个变量，使用集合{0.1,0.25,0.5,1}中的每个值来调整学习率。
n =大小(1台);M =底(log2(n - 1));learnRate = [0.1 0.25 0.5 1];numLR =元素个数(learnRate);maxNumSplits = 2。^ (0:m);numMNS =元素个数(maxNumSplits);numTrees = 150;Mdl =细胞(numMNS numLR);对于k = 1: numLR对于j = 1:numMNS t = templateTree(“MaxNumSplits”maxNumSplits (j),“代孕”，“上”）;Mdl {j, k} = fitrensemble(资源描述,“英里”，“NumLearningCycles”numTrees,．..“学习者”t“KFold”5,“LearnRate”, learnRate (k));结束结束
估计每个集合的累积的、交叉验证的MSE。
kflAll = @ (x) kfoldLoss (x,“模式”，“累积”）;errorCell = cellfun (Mdl kflAll,“统一”，false）；错误=重塑（单元格2mat（errorCell），[numTrees numel（maxNumSplits）numel（learnRate）]；错误深度=kfoldLoss（MdlDeep）；错误桩=kfoldLoss（MdlStump）；
绘制交叉验证的MSE在集合中的树数增加时的行为。在同一个图上绘制关于学习速率的曲线，并为不同的树复杂度级别绘制单独的图。选择树复杂度级别的子集进行绘制。
mnsPlot = [1 round(nummel (maxnumsplents)/2) nummel (maxnumsplents)];图;对于k=1:3子地块（2,2,k）绘图（挤压（错误（：，mnsPlot（k），）），“线宽”2)轴紧持有在甘氨胆酸h =;情节(h。XLim [errorDeep errorDeep),“。b”，“线宽”，2）绘图（h.XLim，[errorStump errorStump]，“r”，“线宽”2)图(h.XLim min(最低(错误(:,mnsPlot (k):)))。* [1],“--k”) h.YLim = [10 50];包含(树木的数量) ylabel (“旨在MSE”)标题(sprintf (“MaxNumSplits = % 0.3 g”maxNumSplits (mnsPlot (k))))关结束hL =传奇([cellstr num2str (learnRate ','学习率=%0.2f'））;．..“深树”；“树桩”；“最小MSE。”]);hL.Position (1) = 0.6;
每条曲线都包含一个最小的交叉验证MSE，该MSE发生在集合中最优树的数量上。
确定产生总体最小MSE的最大分割数、树的数量和学习率。
[minErr, minErrIdxLin] = min(错误(:));[idxNumTrees, idxMNS idxLR] = ind2sub(大小(错误),minErrIdxLin);流(“\ nMin。MSE = % 0.5 f 'minErr)
最小MSE = 16.77593
流(“\ nOptimal参数值:\ nNum。树= % d ', idxNumTrees);
最佳参数值：树数=78
流('\ nmaxnumpartitions = %d\nLearning Rate = %0.2f\n'，．..maxNumSplits (idxMNS) learnRate (idxLR))
学习速率= 0.25
建立一个基于最优超参数和整个训练集的预测集成。
tFinal = templateTree (“MaxNumSplits”，maxNumSplits（idxMNS），“代孕”，“上”）;MdlFinal = fitrensemble(资源描述,“英里”，“NumLearningCycles”idxNumTrees,．..“学习者”tFinal,“LearnRate”learnRate (idxLR))
MdlFinal = RegressionEnsemble PredictorNames: {1x4 cell} ResponseName: 'MPG' CategoricalPredictors: [] ResponseTransform: 'none' NumObservations: 94 NumTrained: 78 Method: 'LSBoost' LearnerNames: {'Tree'} ReasonForTermination: '在完成请求的训练周期数后正常终止。'正则化:[]属性，方法
MdlFinal是一个回归套．要预测一辆汽车的燃油经济性，根据它的汽缸数量，汽缸所取代的体积，马力和重量，你可以通过预测数据和MdlFinal来预测．
而不是使用交叉验证选项手动搜索最佳值(“KFold”)和kfoldLoss函数，则可以使用“优化超参数”名称-值对的论点。当你指定“优化超参数”，软件使用贝叶斯优化自动找到最优参数。利用“优化超参数”可以与使用手动搜索获得的不同。
t = templateTree (“代孕”，“上”）;mdl = fitrensemble(资源描述,“英里”，“学习者”t．..“优化超参数”, {“NumLearningCycles”，“LearnRate”，“MaxNumSplits”}）
|====================================================================================================================| | Iter | Eval |目的:| |目的BestSoFar | BestSoFar | NumLearningC - | LearnRate | MaxNumSplits | | | |结果日志(1 +损失)运行时| |(观察)| (estim) |永昌龙 | | | |====================================================================================================================| | 最好1 | | 3.3955 | 1.3212 | 3.3955 | 3.3955 | 26 | 0.072054 | 3 | | 2 |接受| 6.0976 | 7.3334 | 3.3955 | 3.5549 | 170 | 70 | 0.0010295 | | 3 |的| 3.2914 | 11.441 | 3.2914 | 3.2917 | 273 | 0.61026 | 6 | | 4 |接受| 6.1839 | 3.1548 | 3.2914 | 3.2915 | 80 | 0.0016871 | 1 | | 5 |的| 3.0379 | 0.89285 | 3.0379 | 3.0384 | 18 | 0.21288 | 31日| | 6 |接受| 3.3628 | 0.69273 | 3.0379 | 3.1888 | 10 | 0.17826 | 5 |最好7 | | | 3.0192 | 0.61304 | 3.0192 | 3.0146 | 10 | 0.27711 | 59 | | 8 |接受| 4.6355 | 0.62378 | 3.0192 | 3.0191 | 0.091618 | | 98 | | | 9日接受| 3.1151 | 1.0549 | 3.0192 | 3.0191 | 10 | 0.39913 | 26 | | |接受10 | 3.4377 | 0.68101 | 3.0192 | 3.019 | 0.99335 | | 97 | | | 11日接受| 5.8237 | 0.59221 | 3.0192 | 3.019 | 10 |0.032002 | 1 | | | 12日接受| 4.5938 | 0.60477 | 3.0192 | 3.0192 | 10 | 0.098555 | 1 | | | 13日接受| 3.0677 | 2.107 | 3.0192 | 3.0192 | 41 | 0.16169 | 94 | | | 14日接受| 3.2969 | 1.2862 | 3.0192 | 3.0192 | 28 | 0.81215 | 96 | | 15 |接受| 3.027 | 2.5826 | 3.0192 | 3.0301 | 56 | 0.071231 | 93 | | 16最好| | 2.9369 | 0.71034 | 2.9369 |15 | 2.9457 | 0.30817 | 2 | | 17最好| | 2.8925 | 0.89299 | 2.8925 | 2.9051 | 24 | 0.33763 | 1 | | | 18日接受| 2.9079 | 1.7679 | 2.8925 | 2.8982 | 48 | 0.37865 | 1 | | | 19日接受| 2.9353 | 1.3026 | 2.8925 | 2.8945 | 31日| 0.31067 | 1 | | |接受20 | 3.1439 | 1.2793 | 2.8925 | 2.9097 | 23 | 0.37739 | 98 ||====================================================================================================================| | Iter | Eval |目的:| |目的BestSoFar | BestSoFar | NumLearningC - | LearnRate | MaxNumSplits | | | |结果日志(1 +损失)运行时| |(观察)| (estim) |永昌龙 | | | |====================================================================================================================| | 21日|接受| 2.9186 | 2.7291 | 2.8925 | 2.9134 | 49 | 0.1078 | 1 | | |接受| 3.0959 | 3.1853 | 2.8925 | 2.9145 | 72 | 0.98238 | 1 | | | 23日接受| 2.9214 | 4.9396 | 2.8925 | 2.9156 | 94 | 0.25656 | 1 | | | 24日接受| 2.9183 | 4.0305 | 2.8925 | 2.9143 | 75 | 0.47048 | 1 | | | 25日接受| 2.9294 | 0.93283 | 2.8925 | 2.9079 | 20 | 0.27072 | 1 | | | 26日接受| 2.9509 | 1.2835 | 2.8925 | 2.9121 | 31日| 0.47806 | 1 | |27 | Accept | 2.9122 | 4.3254 | 2.8925 | 2.9129 | 102 | 0.1095 | 1 | | 28 | Accept | 2.9231 | 4.5009 | 2.8925 | 2.9141 | 109 | 0.044508 | 1 | | 29 | Accept | 2.9021 | 9.1891 | 2.8925 | 2.9025 | 264 | 0.062162 | 1 | | 30 | Accept | 2.9235 | 3.9706 | 2.8925 | 2.9028 | 116 | 0.067308 | 1 |
__________________________________________________________ 优化完成。maxobjective达到30个。总函数计算:30总运行时间:112.168秒总目标函数计算时间:80.0215最佳观测可行点:NumLearningCycles LearnRate maxnumspl_________________ _________ ____________ 24 0.33763 1观察到的目标函数值= 2.8925估计的目标函数值= 2.9146函数评估时间= 0.89299最佳估计可行点(根据模型):NumLearningCycles LearnRate maxnumsplit _________________ _________ ____________ 264 0.062162 1估计的目标函数值= 2.9028估计的函数评估时间= 9.7228
mdl = RegressionEnsemble PredictorNames: {1x4 cell} ResponseName: 'MPG' CategoricalPredictors: [] ResponseTransform: 'none' NumObservations: 94 HyperparameterOptimizationResults: [1x1 BayesianOptimization] NumTrained: 264 Method: 'LSBoost' LearnerNames: {'Tree'} ReasonForTermination:“在完成要求的培训周期数后正常终止。”正则化:[]属性，方法
基于并行计算的预测器重要性无偏估计
加载carsmall数据集。考虑一个模型，它可以预测一辆汽车的平均燃油经济性，该模型给出了汽车的加速度、汽缸数、发动机排量、马力、制造商、车型年份和重量。考虑气缸，制造行业,Model_Year作为分类变量。
负载carsmall气缸=分类气缸；制造商=分类气缸；车型年份=分类气缸；X=表（加速度、气缸、排量、马力、制造商、，．..Model_Year、重量、MPG);
显示类别变量中表示的类别数量。
numCylinders=numel（类别（圆柱体））
numCylinders = 3
numMfg =元素个数(类别(有限公司))
numMfg=28
numModelYear =元素个数(类别(Model_Year))
numModelYear = 3
因为只有3个类别气缸和Model_Year在标准CART中，预测器分割算法更喜欢分割连续预测器而不是这两个变量。
使用整个数据集训练一个由500棵回归树组成的随机森林。要种植无偏的树，指定使用曲率测试的分裂预测器。由于数据中缺少值，请指定代理拆分的用法。为了重现随机的预测器选择，使用rng并指定“重现”,真的．
rng (“默认”）;%的再现性t = templateTree (“预测器选择”，“弯曲”，“代孕”，“上”，．..“复制”,真正的);%用于随机预测器选择的重现性Mdl = fitrensemble (X,“英里”，“方法”，“包”，“NumLearningCycles”, 500,．..“学习者”t);
通过排列出包外的观察来估计预测器的重要性。并行执行计算。
选择= statset (“使用并行”,真正的);小鬼= oobPermutedPredictorImportance (Mdl,“选项”、选择);
正在使用连接到并行池的“本地”配置文件启动并行池（parpool）（工作进程数：6）。
用条形图比较估计值。
图;酒吧(imp);标题(“out - bag perised Predictor Importance Estimates”）;ylabel (“估计”）;包含(“预测”）;甘氨胆酸h =;h.XTickLabel = Mdl.PredictorNames;h.XTickLabelRotation = 45;h.TickLabelInterpreter =“没有”；
在这种情况下,Model_Year最重要的预测因素是什么气缸．将这些结果与评估预测因素的重要性．
为ECOC多类学习创建集成模板
创建用于中的集成模板fitcecoc．
加载心律失常数据集。
负载心律失常汇总(分类(Y));
值计数百分比1 245 54.20% 2 44 9.73% 3 15 3.32% 4 15 3.32% 5 13 2.88% 6 25 5.53% 73 0.66% 8 2 0.44% 99 1.99% 10 50 11.06% 14 4 0.88% 15 5 1.11% 16 22 4.87%
rng (1);%的再现性
有些类在数据中有较小的相对频率。
为AdaBoostM1分类树集合创建模板，并指定使用100个学习者，收缩率为0.1。默认情况下，boosting会生长树桩（即，一个节点具有一组叶子）。由于存在频率较小的类，因此树必须足够多叶，以便对少数类敏感。请将叶节点观测的最小数目指定为3。
tTree = templateTree (“MinLeafSize”, 20);t = templateEnsemble (“AdaBoostM1”、100、tTree“LearnRate”,0.1);
模板对象的所有属性都为空，除了方法和类型，以及函数调用中名称-值对参数值的相应属性。当你通过t对于训练函数，软件用它们各自的默认值填充空属性。
指定t作为ECOC多类模型的二元学习者。使用默认的一对一编码设计进行培训。
Mdl = fitcecoc (X, Y,“学习者”t);
Mdl是一个分类多级模型。Mdl。BinaryLearners一个78乘1的单元阵列是多少CompactClassificationEnsemble模型。Mdl.BinaryLearners {j} .Trained一个100乘1的细胞阵列CompactClassificationTree模型，例如j= 1,…,78。
您可以通过使用下面的方法来验证二进制学习者中是否包含一个不是残桩的弱学习者视图．
视图(Mdl.BinaryLearners {1} .Trained {1},“模式”，“图”）
显示样本内(再替换)误分类错误。
L = resubLoss (Mdl,“LossFun”，“classiferror”）
L = 0.0819
输入参数
输出参数
算法
以适应
最大数分裂，软件分割当前的所有节点层，然后统计分支节点的数量。层是距离根节点等距离的节点集。分支节点数量超过最大数分裂，则软件按此程序运行。确定当前层中有多少分支节点需要不被分割，以便最多有多少分支节点
最大数分裂分支节点。根据分支节点的杂质增益对它们进行排序。
将最不成功的分支的期望数量分解。
返回到目前为止增长的决策树。
此过程旨在生成最大平衡的树。
软件一层一层地分割分支节点，直到至少有一个这样的事件发生。
有
最大数分裂+ 1个分支节点。建议的拆分会导致至少一个分支节点中的观察数少于
MinParentSize．提出的分裂导致至少一个叶节点的观测数小于
MinLeafSize．该算法不能在一个层内找到一个好的分割(即剪枝准则(见
PruneCriterion)，并不改善所有提议的分层)。此事件的一个特殊情况是所有节点都是纯节点(即节点中的所有观察具有相同的类)。对于价值观
“弯曲”或“interaction-curvature”的PredictorSelection，则所有试验均产生p-值大于0.05。
最大数分裂和MinLeafSize在默认值上不影响拆分。因此，如果您设置“MaxNumSplits”，则拆分可能会由于的值而停止MinParentSize之前最大数分裂分裂发生。
参考文献
[1] Breiman, L.， J. Friedman, R. Olshen, C. Stone。分类与回归树．佛罗里达州博卡拉顿:CRC出版社，1984。
Coppersmith, D.， S. J. Hong, J. R. M. Hosking。在决策树中划分标称属性。数据挖掘和知识发现， 1999年第3卷，197-217页。
[3] Loh, W.Y.， <具有无偏变量选择和交互检测的回归树>Statistica中央研究院，第12卷，2002年，第361-386页。
[4] 分类树的分裂选择方法Statistica中央研究院， 1997年第7卷，第815-840页。
你也可以从以下列表中选择一个网站:
