模型的建立与评估

特征选择,模式选择,超参数优化,交叉验证,预测性能评估和分类精度对比测试

当建立一个高质量,预测分类模型,它选择正确的特征(或预测)和调整超参数(模型参数未估计)是很重要的。

到一个特定的模型的调超参数中,选择超参数值和交叉验证使用那些值模型。例如,用于调谐SVM模型,选择一组的箱约束和内核鳞,然后交叉验证的每对的值的模型。某些统计和机器学习工具箱™分类功能通过贝叶斯优化,网格搜索,或随机搜索提供自动超参数调整。然而,主要功能用于实现贝叶斯优化,bayesopt,是在其他应用程序使用不够灵活。看到贝叶斯优化工作流程

特征选择和超参数调整可以产生多个模型。您可以比较ķ倍错误分类率,接收器操作特性(ROC)曲线,或混乱的模型中的矩阵。或者,进行统计检验,检测分类模型是否显著优于其他。

要自动选择与调整超参数,使用模型fitcauto。该函数试图选择与不同的超参数值分类模型类型和返回,预计将在新数据表现良好的最终模型。采用fitcauto当你不确定哪个分类类型最适合您的数据。

要构建和交互评估分类模型,使用分类学习应用程序。

应用

分类学习 使用监督机器学习模型火车来分类数据

功能

展开全部

fscchi2 单因素功能使用卡方检验进行分类排名
fscmrmr 秩利用最小冗余最大相关性(MRMR)算法用于分类功能
fscnca 使用分类邻里成分分析的特征选择
oobPermutedPredictorImportance 预测变量重要性估计通过了球袋预测观测置换为分类树的随机森林
predictorImportance 预测的重要性估计分类树
predictorImportance 预测的重要性估计决策树分类集成
sequentialfs 使用自定义的标准顺序特征选择
relieff 使用ReliefF预测的排名重要性或RReliefF算法
fitcauto 采用优化的超参数自动选择分类模型
bayesopt 选择使用贝叶斯优化最佳机器学习的超参数
超参数 变量描述用于优化拟合函数
optimizableVariable 变量描述为bayesopt或其他优化
crossval 采用交叉验证估计损失
cvpartition 创建数据的交叉验证分区
再分配 对于交叉验证重新分配数据
测试 对于交叉验证测试指标
训练 对于交叉验证培训指标
confusionchart 创建用于分类问题混淆矩阵图
confusionmat 对于分类问题计算混淆矩阵
perfcurve 接收器工作特性(ROC)曲线或分类器输出其他性能曲线
testcholdout 两种分类模型比较预测精度
testckfold 通过反复的交叉验证的两种分类模型的精度比较

对象

展开全部

FeatureSelectionNCAClassification 特征选择用于使用邻里成分分析分类(NCA)
BayesianOptimization 贝叶斯优化结果
cvpartition 对于交叉验证数据分区

主题

分类学习应用

在分类学习应用火车站分类模型

工作流进行训练,比较和改进的分类模型,包括自动,手动和平行训练。

评估分类器性能的分类学习

通过绘制类预测比较模型的准确性分数,可视化效果,并在混淆矩阵检查每级的性能。

特征选择和特征变换使用分类学习应用

使用地块识别有用的预测,手动选择功能,包括和变换分类学习者使用PCA功能。

特征选择

简介特征选择

了解特征选择算法和探索可供特征选择的功能。

顺序特征选择

本主题引入了顺序特征选择和提供了选择功能依次使用自定义标准和示例sequentialfs功能。

邻里成分分析(NCA)特征选择

邻里成分分析(NCA)是用于最大化的回归和分类算法的预测精度的目标选择特征的非参数方法。

调整调整参数来检测功能使用NCA的分类

这个例子显示了如何调整在调整参数fscnca使用交叉验证。

正规化判别分析分类

在不损害模型的预测能力去除预测做一个更强大和更简单的模型。

选择功能划分为高维数据

这个例子说明了如何选择分级高维数据的功能。

自动选型

自动分类选择与优化贝叶斯

采用fitcauto自动尝试选择不同的超参数值分类模型的类型,给予培训预测和响应数据。

超参数优化

贝叶斯优化工作流程

利用拟合函数进行贝叶斯优化或致电bayesopt直。

变量优化贝叶斯

创建贝叶斯优化变量。

贝叶斯优化目标函数

创建贝叶斯优化目标函数。

在优化贝叶斯约束

设置不同类型的贝叶斯优化约束的。

优化交叉验证SVM分类使用bayesopt

尽量减少使用贝叶斯优化交叉验证的损失。

优化SVM分类适合使用贝叶斯优化

使用最小化交叉验证损失OptimizeParameters名称 - 值对在拟合函数。

优化贝叶斯绘图功能

直观地监视贝叶斯优化。

优化贝叶斯输出功能

监控贝叶斯优化。

贝叶斯优化算法

了解贝叶斯优化的底层算法。

并行优化贝叶斯

如何贝叶斯优化并行工作。

交叉验证

实现交叉验证使用并行计算

使用并行计算加快交叉验证。

分类绩效评估

性能曲线

检查上使用接收器工作特性曲线的特定测试数据集的分类算法的性能。