このページの翻訳は最新ではありません。ここをクリックして,英語の最新版を参照してください。
菲特森布尔
アンサンブル学習器を分類用に準備
构文
説明
Mdl= fitcensemble (Tbl，ResponseVarName）Tblが格納されている学習済みアンサンブル分類モデルオブジェクト(Mdl)を返します。ResponseVarNameは,Tbl内の応答変数の名前です。既定では,菲特森布尔はバイナリ分類にLogitBoostを,マルチクラス分類にAdaBoostM2を使用します。
例
アンサンブル分類に学習をさせる
データ内の使用可能な予测子変数をすべて使用して，予测アンサンブル分类を作成します。次に，予测子の数を减らして，别のアンサンブルに学习をさせます。これらのアンサンブルの标本内予测精度を比较します。
census1994データセットを読み込みます。
加载census1994
データセット全体と既定のオプションを使用して、分類モデルのアンサンブルに学習をさせます。
Mdl1 = fitcensemble (adultdata,“工资”）
Mdl1 = ClassificationEnsemble PredictorNames: {1x14 cell} ResponseName: 'salary' CategoricalPredictors: [2 4 6 7 8 9 10 14] ClassNames: [<=50K >50K] ScoreTransform: 'none' NumObservations: 32561 NumTrained: 100 Method: 'LogitBoost' LearnerNames: {'Tree'} ReasonForTermination:“在完成要求的培训周期数后正常终止。”FitInfo描述:{2x1 cell}属性，方法
MdlはClassificationEnsembleモデルです。Mdlには,次のような顕著な特徴があります。
データには2つのクラスがあるので,アンサンブル集約アルゴリズムはLogitBoostです。
アンサンブル集約法がブースティングアルゴリズムなので,最大10分割を許容する分類木がアンサンブルを構成します。
100年本の木がアンサンブルを構成します。
このアンサンブル分类を使用して，データから无作为に抽出した5つの観测値のラベルを予测します。予测されたラベルと真の値を比较します。
rng（1）%的再现性[pX, pIdx] = datasample (adultdata 5);标签=预测(Mdl1, pX);表(标签,adultdata.salary (pIdx),“变化无常”,{'预料到的'，“真相”}）
ans=5×2表预测的真理 _________ _____ <= 50 k < = 50 k < = 50 k < = 50 k < = 50 k < = 50 k < = 50 k < = 50 k < = 50 k < = 50 k
年龄と教育のみを使用して，新しいアンサンブルに学习をさせます。
Mdl2 = fitcensemble (adultdata,“工资~年龄+教育程度”）;
Mdl1とMDL2の再代入損失を比較します。
rsLoss1 = resubLoss (Mdl1)
rsLoss1 = 0.1058
rsLoss2=resubLoss（Mdl2）
rsLoss2 = 0.2037
すべての予測子を使用するアンサンブルの方が,標本内誤分類率が小さくなります。
数値予測子の値のビン化による学習の高速化
菲特森布尔を使用して,ブースティング分類木のアンサンブルに学習をさせます。名前と値のペアの引数“麻木”を指定して数値予測子をビン化することにより,学習時間を短縮します。この引数は,菲特森布尔が木学習器を使用する場合のみ有効です。学習後,学習済みモデルの边沿プロパティと関数离散化を使用して，ビン化された予测子データを再现できます。
标本データセットを生成します。
rng (“默认”）%的再现性N = 1 e6;X = [mvnrnd([-1 -1]，eye(2)，N);mvnrnd([1],眼(2),N)];y = [0 (N, 1);的(N, 1)];
データセットを可視化します。
图散射(X (1: N, 1), X (1: N, 2),“标记”，“。”，'MarkerEdgeAlpha'，0.01）保持在散射(X (N + 1:2 * N, 1), X (N + 1:2 * N, 2),“标记”，“。”，'MarkerEdgeAlpha', 0.01)
適応ロジスティック回帰 (LogitBoost，バイナリ分类の既定）を使用して，ブースティング分类木のアンサンブルに学习をさせます。比较のため，关数の実行时间を测定します。
tic Mdl1 = fitcensemble(X,y);toc
运行时间为478.988422秒。
名前と値のペアの引数“麻木”を使用して、学習を高速化します。“麻木”の値として正の整数スカラーを指定した場合,指定した個数の同確率のビンにすべての数値予測子がビン化され,元のデータではなくビンのインデックスに対して木が成長します。カテゴリカル予測子はビン化されません。
tic Mdl2 = fitcensemble(X,y，“麻木”,50); toc
经过时间是165.598434秒。
元のデータではなくビン化されたデータを使用すると,処理が約3倍高速になります。経過時間はオペレーティングシステムによって変化する可能性があることに注意してください。
再代入による分類誤差を比較します。
rsLoss1 = resubLoss (Mdl1)
rsLoss1=0.0788
rsLoss2=resubLoss（Mdl2）
rsLoss2 = 0.0788
この例では,予測子の値をビン化することにより,精度を失わずに学習時間が短縮されました。一般に,この例のような大規模な学習データセットを使用する場合,ビン化オプションを使用すると学習を高速化できますが,精度が低下する可能性があります。さらに学習時間を短縮するには,指定するビンの個数を少なくします。
学习済みモデルの边沿プロパティと関数离散化を使用して,ビン化された予測子データを再現します。
X = Mdl2.X;%的预测数据Xbinned = 0(大小(X));边缘= Mdl2.BinEdges;％查找分级预测的指标。idxNumeric =找到(~ cellfun (@isempty边缘));如果iscolumn(idxNumeric) idxNumeric = idxNumeric';结束为j = idxNumeric x = x (:，j);%如果x是一个表，则将x转换为数组。如果istable（x）x=表2阵列（x）；结束%使用离散化函数将x分组到箱子中。xbinned =离散化(x,[无穷;边缘{};正]);Xbinned (:, j) = Xbinned;结束
数値予測子の場合1からビンの個数までの範囲にあるビンのインデックスがXbinnedに格納されます。カテゴリカル予測子の場合,Xbinnedの値は0になります。Xに南が含まれている場合,対応するXbinnedの値は南になります。
ブースティング アンサンブルの汎化誤差の推定
ブースティング分類木のアンサンブルの汎化誤差を推定します。
电离层データセットを読み込みます。
加载电离层
AdaBoostM1と10分割の交差検証を使用して,分類木のアンサンブルを交差検証します。決定木テンプレートを使用して各木を最大5回分割するように指定します。
rng (5);%的再现性t = templateTree (“MaxNumSplits”，5）；Mdl=fitcensemble（X，Y，“方法”，'AdaBoostM1'，“学习者”，t，'CrossVal'，“上”）;
Mdlは分类分区集合モデルです。
10分割交差検証を行った累積誤分類率をプロットします。アンサンブルの推定汎化誤差を表示します。
kflc = kfoldLoss (Mdl,“模式”，“累积”）;图;情节(kflc);ylabel (“10倍误分类率”）;包含(“学习周期”）;
estGenError = kflc(结束)
estGenError = 0.0769
既定の設定では,kfoldLossは泛化误差を返します。しかし，累积损失をプロットすると，アンサンブル内に弱学习器が蓄积するにつれて损失がどのように変化するかを観察できます。
このアンサンブルでは,約50個の弱学習器が蓄積した後の誤分類率が約0.06になっています。そして,弱学習器がさらにアンサンブルに加わると,誤分類率がわずかに増加しています。
アンサンブルの汎化誤差が満足できるものになった場合は,予測モデルを作成するため,交差検証以外の設定をすべて使用して,再度アンサンブルに学習をさせます。ただし,木あたりの決定分岐の最大数や学習サイクル数などのハイパーパラメーターを調整することをお勧めします。
アンサンブル分類の最適化
菲特森布尔を使用してハイパーパラメーターを自动的に最适化します。
电离层データセットを読み込みます。
加载电离层
自動的なハイパーパラメーター最適化を使用して,5分割交差検証損失を最小化するハイパーパラメーターを求めることができます。
Mdl = fitcensemble (X, Y,'OptimizeHyperparameters'，“汽车”）
この例では、再現性を得るため、乱数シードを設定し、“预期改善加成”の獲得関数を使用します。また,ランダムフォレストアルゴリズムの再現性を得るため,木学習器について名前と値のペアの引数“复制”として真的を指定します。
rng (“默认”) t = templateTree(“复制”,真正的);Mdl = fitcensemble (X, Y,'OptimizeHyperparameters'，“汽车”，“学习者”，t，...“HyperparameterOptimizationOptions”结构(“AcquisitionFunctionName”，“预期改善加成”）））
|===================================================================================================================================| | Iter | Eval客观客观| | | BestSoFar | BestSoFar | |方法NumLearningC - | LearnRate | MinLeafSize | | |结果| | |运行时(观察)| (estim) | |永昌龙| | ||===================================================================================================================================| | 最好1 | | 0.10256 | 1.6978 | 0.10256 | 0.10256 | RUSBoost | 11 | 0.010199 | 17 |
|2 | Best | 0.062678 | 9.4354 | 0.062678 | 0.064264 | LogitBoost | 206 | 0.96537 | 33|
| 3 |接受| 0.099715 | 7.614 | 0.062678 | 0.062688 | AdaBoostM1 | 130 | 0.0072814 | 2 |
|4 |接受|0.068376 |1.6045 |0.062678 |0.062681 |袋|25 |- | 5 |
| 5 |接受| 0.065527 | 20.359 | 0.062678 | 0.062699 | LogitBoost | 447 | 0.5405 | 13 |
|6 |接受| 0.074074 | 7.1054 | 0.062678 | 0.0627 | GentleBoost | 157 | 0.60495 | 108|
| 7 | Accept | 0.082621 | 0.9688 | 0.062678 | 0.064102 | GentleBoost | 19 | 0.0010515 | 42 |
| 8 |接受| 0.17379 | 0.49564 | 0.062678 | 0.06268 | LogitBoost | 10 | 0.001079 | 149 |
| 9 | Accept | 0.076923 | 21.003 | 0.062678 | 0.062676 | GentleBoost | 468 | 0.035181 | 2 |
| 10 |接受| 0.068376 | 13.575 | 0.062678 | 0.062676 | AdaBoostM1 | 221 | 0.99976 | 7 |
|11 |接受| 0.10541 | 3.6394 | 0.062678 | 0.062676 | RUSBoost | 59 | 0.99629 | 31|
|12 |接受| 0.068376 | 3.3423 | 0.062678 | 0.062674 | AdaBoostM1 | 53 | 0.20568 | 26|
| 13 | Accept | 0.096866 | 1.6005 | 0.062678 | 0.062672 | RUSBoost | 22 | 0.0010042 | 2 |
| 14 |接受| 0.071225 | 1.201 | 0.062678 | 0.062688 | LogitBoost | 23 | 0.99624 | 1 |
| 15 |接受| 0.082621 | 0.87944 | 0.062678 | 0.062687 | AdaBoostM1 | 11 | 0.95241 | 2 |
|16 |接受|0.079772 |29.788 |0.062678 |0.062679 |AdaBoostM1 |486 |0.23903 | 35 |
| 17 |接受| 0.35897 | 23.651 | 0.062678 | 0.06267 |包| 499 | - | 169 |
| 18 | Accept | 0.074074 | 0.653 | 0.062678 | 0.062674 | Bag | 10 | - | 1 |
| 19 |接受| 0.088319 | 32.811 | 0.062678 | 0.062674 | RUSBoost | 498 | 0.0010437 | 3 |
|20 |接受| 0.068376 | 6.1279 | 0.062678 | 0.062673 | GentleBoost | 130 | 0.0010021 | 3|
|===================================================================================================================================| | Iter | Eval客观客观| | | BestSoFar | BestSoFar | |方法NumLearningC - | LearnRate | MinLeafSize | | |结果| | |运行时(观察)| (estim) | |永昌龙| | ||===================================================================================================================================| | 21日|接受| 0.17379 | 22.601 | 0.062678 | 0.06271 | LogitBoost | 496 | 0.0010096 | 146 |
| 22 |接受| 0.071225 | 2.9727 | 0.062678 | 0.062713 | GentleBoost | 71 | 0.91141 | 9 |
| 23 | Accept | 0.64103 | 1.1288 | 0.062678 | 0.062706 | RUSBoost | 20 | 0.0012846 | 173 |
|24 |接受|0.11111 |1.537 |0.062678 |0.062697 |RUSBoost |24 |0.96694 | 6 |
| 25 |接受| 0.17379 | 5.5632 | 0.062678 | 0.062686 | LogitBoost | 136 | 0.001 | 3 |
|26 |接受| 0.35897 | 8.0556 | 0.062678 | 0.062686 | AdaBoostM1 | 156 | 0.003243 | 174|
|27 |接受| 0.065527 | 1.0791 | 0.062678 | 0.062686 |包| 21 |-2|
|28 |接受|0.17379 |1.7562 |0.062678 |0.062689 |LogitBoost |42 |0.0010283 | 21 |
|29 |接受| 0.074074 | 4.3825 | 0.062678 | 0.062689 | GentleBoost | 108 | 0.0010055 | 173|
|30 |接受| 0.065527 | 1.4893 | 0.062678 | 0.062689 |物流推进| 32 | 0.97832 | 4|
__________________________________________________________ 优化完成。maxobjective达到30个。总函数计算:30总运行时间:278.5509秒。总目标函数评价时间:238.1176方法NumLearningCycles LearnRate MinLeafSize __________ _________________ _________ ___________ LogitBoost 206 0.96537 33观测目标函数值= 0.062678估计目标函数值= 0.062689函数计算时间= 9.4354最佳估计可行点(根据模型):方法NumLearningCycles LearnRate MinLeafSize __________ _________________ _________ ___________ LogitBoost 206 0.96537 33估计的目标函数值= 0.062689估计的函数计算时间= 9.4324
Mdl = ClassificationEnsemble ResponseName: 'Y' CategoricalPredictors: [] ClassNames: {'b' ' 'g'} ScoreTransform: 'none' NumObservations: 351 HyperparameterOptimizationResults: [1×1 BayesianOptimization] NumTrained: 206 Method: 'LogitBoost' LearnerNames: {'Tree'} reasonforterminate:“在完成要求的培训周期数后正常终止。”FitInfo: [206×1 double] FitInfoDescription: {2×1 cell}属性，方法
最適化では,バイナリ分類のアンサンブル集約法,NumLearningCycles,適用可能な手法のLearnRate、および木学習器のMinLeafSizeに対して探索を行いました。出力は、推定交差検証損失が最小になるアンサンブル分類器です。
交差検証の使用によるアンサンブル分類の最適化
十分な予測性能をもつブースティング分類木のアンサンブルを作成する方法の 1つは、交差検証を使用して決定木の複雑度レベルを調整することです。最適な複雑度レベルを求めるときに、学習率を調整して学習サイクル数を最小化します。
この例では,交差検証オプション(名前と値のペアの引数“KFold”)と関数kfoldLossを使用して、最適なパラメーターを手動で求めます。あるいは、名前と値のペアの引数'OptimizeHyperparameters'を使用して自動的にハイパーパラメーターを最適化することもできます。アンサンブル分類の最適化を参照してください。
电离层データセットを読み込みます。
加载电离层
最適な木の複雑度レベルを求めるため,以下を行います。
一連のアンサンブルを交差検証します。以後のアンサンブルについて,決定株(1つの分割)から最大n- 1 個の分割まで木の複雑度レベルを指数的に増やします。nは標本サイズです。また,各アンサンブル学習率0.1をから1までの間で変化させます。
各アンサンブルの交差検証済み誤分類率を推定します。
木の複雑度レベル （ ) について、学習サイクル数に対してプロットすることにより、アンサンブルの交差検証済み累積誤分類率を比較します。同じ 身材に、各学習率に対応する別々の曲線をプロットします。
誤分類率が最小になる曲線を選択し,対応する学習サイクルおよび学習率に注目します。
深い分類木と切り株を交差検証します。これらの分類木は基準として機能します。
rng（1）%的再现性MdlDeep=fitctree（X，Y，'CrossVal'，“上”，“合并树叶”，“关”，...“MinParentSize”1);MdlStump = fitctree (X, Y,“MaxNumSplits”，1，'CrossVal'，“上”）;
5分割の交差検証を使用して,150本のブースティング分類木のアンサンブルを交差検証します。木のテンプレートを使用して, という数列の値を使用して分割の最大数を変化させます。米は, がn- 1 を超えない値です。各バリアントについて、{0.1, 0.25, 0.5, 1} という集合の各値を使用して、それぞれの学習率を調整します。
n =大小(X, 1);M =底(log(n - 1)/log(3))learnRate = [0.1 0.25 0.5 1];numLR =元素个数(learnRate);maxNumSplits = 3。^ (0:m);numMNS =元素个数(maxNumSplits);numTrees = 150;Mdl =细胞(numMNS numLR);为k = 1: numLR为j = 1:numMNS t = templateTree(“MaxNumSplits”maxNumSplits (j));Mdl {j, k} = fitcensemble (X, Y,“NumLearningCycles”numTrees,...“学习者”，t，“KFold”5,“LearnRate”, learnRate (k));结束结束
各アンサンブルについて，および基准として机能する分类木について，交差検证済み累积误分类率を推定します。
kflAll=@（x）kfoldLoss（x，“模式”，“累积”）;errorCell = cellfun (Mdl kflAll,“制服”，错误的）;误差=重塑（cell2mat（errorCell），[numTrees numel（maxNumSplits）numel（learnRate）]）;errorDeep = kfoldLoss（MdlDeep）;errorStump = kfoldLoss（MdlStump）;
アンサンブル内の木の本数が増加すると交差検証済み誤分類率がどのように変化するかをプロットします。同じプロットに学習率ごとの曲線をプロットし,木の複雑度レベルを変えた別のプロットをそれぞれ作成します。木の複雑度レベルからプロット対象となるサブセットを選択します。
mnsPlot = [1 round(nummel (maxnumsplents)/2) nummel (maxnumsplents)];数字为K = 1：3副区（2,2，k）的积（挤压（错误（：，mnsPlot（K），:)），“线宽”，2）轴紧的抓住在h=gca；绘图（h.XLim，[errorDeep errorDeep]，“。b”，“线宽”, 2)情节(h。XLim,[errorStump errorStump],“r”，“线宽”2)图(h.XLim min(最低(错误(:,mnsPlot (k):)))。* [1],“——k”) h.YLim = [0 0.2];包含(树木的数量) ylabel (“旨在misclass。率的)标题(sprintf (“MaxNumSplits = % 0.3 g”maxNumSplits (mnsPlot (k))))从结束hL=图例（[cellstr（num2str）（learnRate'），'学习率= %0.2f'））;...“深树”；“树桩”；“最小误分类率”]); 位置（1）=0.6；
各曲線では,アンサンブルの最適な木の本数の位置で交差検証済み誤分類率が最小になります。
全体的に誤分類率が最小になる最大分割数、木の本数および学習率を特定します。
[minErr, minErrIdxLin] = min(错误(:));[idxNumTrees, idxMNS idxLR] = ind2sub(大小(错误),minErrIdxLin);流(“\ nMin。misclass。率= % 0.5 f 'minErr)
分钟misclass。率= 0.05413
流(“\ nOptimal参数值:\ nNum。树= % d '，idxNumTrees）；
最佳参数值：树数=47
流(“\nMaxNumSplits=%d\n学习率=%0.2f\n”，...maxNumSplits (idxMNS) learnRate (idxLR))
学习速率= 0.25
最適なハイパーパラメーターおよび学習セット全体に基づいて予測アンサンブルを作成します。
tFinal=模板树(“MaxNumSplits”maxNumSplits (idxMNS));MdlFinal = fitcensemble (X, Y,“NumLearningCycles”idxNumTrees,...“学习者”tFinal,“LearnRate”，learnRate（idxLR））
MdlFinal = ClassificationEnsemble ResponseName: 'Y' CategoricalPredictors: [] ClassNames: {'b' ' 'g'} ScoreTransform: 'none' NumObservations: 351 NumTrained: 47 Method: 'LogitBoost' LearnerNames: {'Tree'} ReasonForTermination: '在完成请求的训练周期数后正常终止。'FitInfo: [47×1 double] FitInfoDescription: {2×1 cell}属性，方法
MdlFinalはClassificationEnsembleです。与えられた予测子データに対してレーダー反射が良好であるかどうかを予测するには，予测子データとMdlFinalを预测に渡すことができます。
交差検証オプション(“KFold”)と関数kfoldLossを使用して最適な値を手動で求める代わりに、名前と値のペアの引数'OptimizeHyperparameters'を使用できます。'OptimizeHyperparameters'を指定すると,ベイズ最適化を使用して,最適なパラメーターが自動的に求められます。'OptimizeHyperparameters'を使用して取得した最適な値は,手動で求めたものと異なる可能性があります。
mdl = fitcensemble (X, Y,'OptimizeHyperparameters',{“NumLearningCycles”，“LearnRate”，“MaxNumSplits”}）
|第二个月月第第第二个月第礼礼礼礼礼第第第第第第第第二个月第第礼第第第第第第第第第第第二个月第第礼第第第第第礼第第第礼第第第礼第第第第第礼第第礼第第第第礼第第第第礼第第第礼第第第第礼第第第第第第礼第第第第第第第礼第第第第第第礼第第第第第第第第礼第第礼第第第第礼第第礼第第第第第第第礼第第第第第第礼第第第第第第第礼第第第第第礼第第第礼第第第礼第礼第第礼第第第第礼第第第第第第礼第第第第第礼第第第第第第礼第第第第第第礼第第第第第礼第第第第第第第第第第第第第第第第第第第第第第第第第第第第第| |运行时|（观察）|（估计）第二个月第第第第二方第第==================第第二个月月月月第四个月月月月第第二个月第第第二个月月第第第第==================第第第第第第第二个月月第四个月月第第第四方第四方方第第第第========================第第第第第第==================第第第第第第第第第============第第第第第第第第第第第第第第==================第第第第第第第第第第第第第第第第第第第第===第第第第第第第第第第第第第第第第第第第第第===第第第第第第第第第第===第第第第第第第第第第第第===第第第第第第第第第第第第第第第第第第第第第第第第第第第第第第第第第第第第第364 | 3|
| 2 |接受| 0.17379 | 0.79961 | 0.17379 | 0.17379 | 15 | 0.013089 | 144 |
| 3 |最佳| 0.065527 | 1.4585 | 0.065527 | 0.065538 | 31 | 0.47201 | 2 |
|4 |接受| 0.074074 | 13.988 | 0.065527 | 0.065549 | 340 | 0.92167 | 7|
|5 |接受| 0.088319 | 0.92718 | 0.065527 | 0.072102 | 22 | 0.2432 | 1|
|6 |接受| 0.074074 | 0.44748 | 0.065527 | 0.071237 | 10 | 0.7177 | 48|
| 7 |接受| 0.08547 | 0.52207 | 0.065527 | 0.074847 | 10 | 0.57238 | 2 |
| 8 |接受| 0.074074 | 0.59154 | 0.065527 | 0.065556 | 11 | 0.97207 | 3 |
|9 |最佳| 0.059829 | 1.6809 | 0.059829 | 0.059648 | 42 | 0.92135 | 343|
| 10 |最佳| 0.054131 | 2.2481 | 0.054131 | 0.054148 | 49 | 0.97807 | 37 |
|11 |接受|0.065527 |2.1686 |0.054131 |0.059479 |48 |0.9996 |2 |
| 12 |接受| 0.068376 | 2.5909 | 0.054131 | 0.061923 | 58 | 0.91401 | 323 |
|13 |接受| 0.17379 | 0.48621 | 0.054131 | 0.062113 | 10 | 0.0010045 | 4|
| 14 |接受| 0.17379 | 0.55949 | 0.054131 | 0.059231 | 10 | 0.059072 | 148 |
|15 |接受| 0.065527 | 1.9568 | 0.054131 | 0.062559 | 46 | 0.76657 | 19|
| 16 |接受| 0.065527 | 2.5692 | 0.054131 | 0.062807 | 57 | 0.64443 | 311 |
| 17 |接受| 0.17379 | 0.55723 | 0.054131 | 0.062748 | 10 | 0.0035012 | 2 |
| 18 |接受| 0.12821 | 1.9669 | 0.054131 | 0.062043 | 47 | 0.055757 | 197 |
| 19 |接受| 0.05698 | 1.2814 | 0.054131 | 0.060837 | 27 | 0.98997 | 12 |
|20 |接受| 0.059829 | 1.1975 | 0.054131 | 0.060881 | 26 | 0.99112 | 13|
|====================================================================================================================| | Iter | Eval客观客观| | | BestSoFar | BestSoFar | NumLearningC - | LearnRate | MaxNumSplits | | |结果| | |运行时(观察)| (estim) |永昌龙| | ||====================================================================================================================| | 21日|接受| 0.065527 | 1.2255 | 0.054131 | 0.061441 | 25 | 0.99183 | 9 |
|22 |接受| 0.17379 | 1.3748 | 0.054131 | 0.061461 | 29 | 0.0032434 | 344|
| 23 |接受| 0.068376 | 3.055 | 0.054131 | 0.061768 | 67 | 0.18672 | 11 |
| 24 |接受| 0.059829 | 5.0035 | 0.054131 | 0.061785 | 119 | 0.3125 | 1 |
| 25 |接受| 0.059829 | 7.6141 | 0.054131 | 0.061793 | 176 | 0.25401 | 304 |
|26 |接受| 0.059829 | 5.1133 | 0.054131 | 0.05988 | 115 | 0.34331 | 343|
| 27 |接受| 0.059829 | 7.4027 | 0.054131 | 0.059895 | 178 | 0.26684 | 13 |
| 28 |接受| 0.059829 | 5.2506 | 0.054131 | 0.059872 | 118 | 0.32365 | 3 |
| 29 |接受| 0.062678 | 10.523 | 0.054131 | 0.059871 | 238 | 0.22465 | 1 |
|30 |接受| 0.14815 | 0.57384 | 0.054131 | 0.059705 | 10 | 0.15205 | 2|
__________________________________________________________ 优化完成。maxobjective达到30个。总函数计算:30总运行时间:122.7983秒。总目标函数评价时间:91.3933NumLearningCycles LearnRate maxnumspl_________________ _________ ____________ 49 0.97807 37观察到的目标函数值= 0.054131估计的目标函数值= 0.062545函数评估时间= 2.2481最佳估计可行点(根据模型):NumLearningCycles LearnRate maxnumsplit _________________ _________ ____________ 119 0.3125 1估计的目标函数值= 0.059705估计的函数评估时间= 5.1842
mdl = ClassificationEnsemble ResponseName: 'Y' CategoricalPredictors: [] ClassNames: {'b' ' 'g'} ScoreTransform: 'none' NumObservations: 351 HyperparameterOptimizationResults: [1×1 BayesianOptimization] NumTrained: 119 Method: 'LogitBoost' LearnerNames: {'Tree'} reasonforterminate:“在完成要求的培训周期数后正常终止。”FitInfo: [119×1 double] FitInfoDescription: {2×1 cell}属性，方法
入力引数
出力引数
ヒント
NumLearningCyclesは数十から数千までさまざまな数になります。通常,予測力が高いアンサンブルでは数百から数千の弱学習器が必要です。しかし,このような多数のサイクルの学習をアンサンブルが一度に行う必要はありません。数十個の学習器の学習から開始してアンサンブルの性能を調査し,必要な場合は分類問題用の的简历を使用して弱学習器の数を増やすことができます。アンサンブルの性能は,アンサンブルの設定と弱学習器の設定によって決まります。つまり,既定のパラメーターを使用する弱学習器を指定すると、アンサンブルの性能が低下する可能性があります。このため、アンサンブルの設定と同じように、テンプレートを使用して弱学習器のパラメーターを調整し、汎化誤差が最小になる値を選択することをお勧めします。
重新取样を使用してリサンプリングを指定する場合は、データセット全体に対してのリサンプリングをお勧めします。つまり、FResampleの既定设定である1を使用します。アンサンブル集約法(
方法)が“包”であり,誤分類コスト (
成本)が非常に不均衡である場合,在袋子の標本について,ペナルティが大きいクラスから一意な観測値がオーバーサンプリングされます。クラスの事前確率(
先前的）の歪みが大きい场合，事前确率が大きいクラスから一意な観测値がオーバーサンプリングされます。
これらの組み合わせにより,標本サイズが小さい場合,ペナルティまたは事前確率が大きいクラスから抽出されるout-of-bag観測値の相対頻度が低くなる可能性があります。この結果,out-of-bagの推定誤差の変動幅が非常に大きくなり,解釈が困難になる可能性があります。特に標本サイズが小さい場合に,out-of-bagの推定誤差の変動幅が大きくならないようにするには,
成本を使用して誤分類コスト行列をより平衡にするか,先前的を使用して事前確率ベクトルの歪みを小さくします。一部の入力引数および出力引数の順序は学習データ内の各クラスに対応するので,名前と値のペアの引数
一会を使用してクラスの順序を指定することをお勧めします。クラスの順序を簡単に求めるには、未分類の (つまり欠損ラベルがある) 観測値を学習データからすべて削除し、異なるクラスがすべて含まれている配列を取得および表示してから、その配列を
一会に指定します。たとえば,応答変数 (Y)がラベルの细胞配列であるとします。次のコードは,変数类名でクラスの順序を指定します。Ycat =分类(Y);一会=类别(Ycat)
分类は<定义>を未分類観測値に割り当て、类别は<定义>を出力から除外します。したがって,このコードをラベルの cell 配列に対して使用するか、同様のコードを categorical 配列に対して使用すると、欠損ラベルがある観測値を削除しなくても各クラスのリストを取得できます。最小相当ラベルから最大相当ラベルの順になるようにクラスの順序を指定するには,(前の項目のように)クラスの順序を簡単に調べ,リスト内のクラスの順序を頻度順に変更してから,リストを
一会に渡します。前の例に従うと、次のコードは最小相当から最大相当の順にクラスの順序をclassNamesLHで指定します。Ycat=categorical（Y）；classNames=categories（Ycat）；freq=countcats（Ycat）；[~，idx]=sort（freq）；classNamesLH=classNames（idx）；
モデルに学習をさせた後で、新しいデータについてラベルを予測する C/C++コードを生成できます。C/C++コードの生成にはMATLAB编码器™が必要です。詳細については,コード生成の紹介を参照してください。
アルゴリズム
アンサンブル集約アルゴリズムの詳細については,アンサンブルアルゴリズムを参照してください。
方法がブースティングアルゴリズム,学习者が决定木になるように设定した场合，既定では浅い决定木が成长します。木の深さは，模板树を使用して名前と値のペアの引数MaxNumSplits、MinLeafSizeおよびMinParentSizeを指定することにより调整できます。バギング(
“方法”,“包”）の场合，菲特森布尔は、誤分類コストが大きいクラスをオーバーサンプリングし、誤分類コストが小さいクラスをアンダーサンプリングすることにより、袋装の標本を生成します。その結果、现成的の標本では、誤分類コストが大きいクラスの観測値は少なくなり、誤分類コストが小さいクラスの観測値は多くなります。小さいデータセットと歪みが大きいコスト行列を使用してアンサンブル分類に学習をさせる場合、クラスあたりの 现成的観測値の数が少なくなる可能性があります。このため、现成的の推定誤差の変動幅が非常に大きくなり、解釈が困難になる可能性があります。事前確率が大きいクラスでも同じ現象が発生する場合があります。アンサンブル集約法(
“方法”、“RUSBoost”)がRUSBoostである場合,名前と値のペアの引数RatioToSmallestでは最小相当クラスに関して各クラスのサンプリングの比率を指定します。たとえば,学習データにA および B という 2 つのクラスがあるとします。A には 100 個の観測値、B には 10 個の観測値が含まれています。また、最小相当クラスでは米個の観測値が学習データに含まれているとします。“比率最小”，2を設定した場合,年代＊米2 * 10＝20になります。したがって,菲特森布尔はクラスの一个20个の観测値とクラスの乙20个の観测値を使用して，すべての学习器に学习をさせます。‘比率最小’，[2]を設定した場合も同じ結果になります。‘RatioToSmallest’,(2,1)を設定した場合,s1＊米2 * 10＝20およびs2＊米1 * 10＝10になります。したがって,菲特森布尔はクラスの20個の観測値とクラスBの10個の観測値を使用して,すべての学習器に学習をさせます。
デュアルコア以上のシステムの場合,
菲特森布尔では英特尔スレッディングビルディングブロック(TBB)を使用して学習を並列化します。英特尔TBBについての詳細は,https://software.intel.com/en-us/intel-tbbを参照してください。
参照
[1] Breiman, L.《套袋预测》。机器学习。1996年第26卷，123-140页。
[2] Breiman，L.“随机森林”。机器学习。卷。45，第5-32，2001年。
[3] Freund, Y.“一个更健壮的助推算法。“v1 arXiv: 0905.2138, 2009。
[4]弗氏，Y。和R. E. Schapire。“A决策理论在线学习的推广和提升在应用程序。”计算机与系统科学，卷J.。55，第119-139，1997。
[5] Friedman, J. <贪婪函数近似:梯度增压机>《统计年鉴》，第29卷第5期，第1189-1232页，2001年。
[6]弗里德曼，J.，T.黑斯蒂和R. Tibshirani。“添加剂逻辑回归：提升的统计视图。”统计，卷年鉴。28，第2号，第337-407，2000。
[7] 黑斯蒂、T、R.蒂布什拉尼和J.弗里德曼。《统计学习要素》第版，斯普林格，纽约，2008年。
[8]何，T. K.“用于构建决策森林随机子空间方法”。IEEE交易模式分析与机器智能，卷。20，第8期，第832-844，1998。
[9] 夏皮雷，R.E.，Y.Freund，P.Bartlett和W.S.Lee。“扩大差距：投票方法有效性的新解释”，《统计年鉴》，第26卷，第5期，1651-16861998页。
Seiffert, C.， T. Khoshgoftaar, J. Hulse和A. Napolitano。RUSBoost:在训练数据有偏差时提高分类性能。“第19届模式识别国际会议”，第1-4页，2008。
[11]温穆特，廖建军，陈志强。“完全正确的助推算法，使利润最大化。”Proc, 23日国际。机器学习大会，ACM，纽约，第1001-1008页，2006。
拡張機能
你也可以从以下列表中选择一个网站:
