特征选择是一种降维技术,它选择特征(预测变量)的子集,在建模一组数据时提供最好的预测能力。
特征选择可以用于:
- 防止过拟合:避免使用过多的特征进行建模,这些特征更容易被死记硬背的特定训练示例所影响
- 减小模型大小:使用高维数据提高计算性能,或者为内存有限的嵌入式部署准备模型。
- 提高可解释性:使用较少的特性,这可能有助于识别影响模型行为的特性
有几种常见的特性选择方法。
迭代地更改特性集以优化性能或损失
逐步回归顺序地添加或删除功能,直到预测没有任何改进。它与线性回归或广义线性回归算法一起使用。同样,sequ基本特征选择构建功能集,直到精确度(或自定义性能度量)停止提高。
基于固有特征的等级特征
这些方法估计特征的排名,然后可以用来选择排名前几的特征。最小冗余最大相关性(MRMR)发现特征最大化特征与响应变量之间的互信息,最小化特征自身之间的互信息。相关方法根据拉普拉斯分数对特征进行排序,或使用统计检验来确定特征的重要性,以确定单个特征是否独立于响应。
邻域成分分析(NCA)与救济
这些方法通过最大化基于成对距离的预测精度和惩罚导致错误分类结果的预测器来确定特征权重。
与模型一起学习特性的重要性
一些有监督机器学习算法在训练过程中估计特征重要性。这些估计可用于训练完成后对特征进行排序。具有内置特征选择的模型包括线性支持向量机、增强决策树及其集合(随机森林),和广义线性模型。类似地,在套索中正规化在训练过程中,收缩估计器将冗余特征的权值(系数)降低到零。
MATLAB®万博1manbetx支持以下特性选择方式:
算法 | 培训 | 模型类型 | 精确 | 警告 |
---|---|---|---|---|
NCA | 适度的 | 更适合基于距离的模型 | 高的 | 需要手动调整正则化lambda |
MRMR | 快 | 任何 | 高的 | 仅用于分类 |
ReliefF | 适度的 | 更适合基于距离的模型 | 媒介 | 无法区分相关的预测值 |
顺序 | 慢 | 任何 | 高的 | 并不是所有的功能都排序 |
方差齐性检验 | 快 | 任何 | 媒介 | 为了回归。无法区分相关预测因子。 |
卡方 | 快 | 任何 | 媒介 | 的分类。无法区分相关预测因子。 |
作为特征选择的一种替代方法,特征转换技术将现有特征转换为新特征(预测变量),并减少描述性特征。特征转换方法包括:
有关使用MATLAB进行特征选择的更多信息,包括机器学习、回归和转换,请参见统计和机器学习工具箱™.
要点
- 特征选择是一种提高模型性能(特别是在高维数据上)、提高可解释性和减小模型大小的高级技术。
- 首先考虑一个具有“内置”特征选择的模型。除此之外,MRMR在分类方面也很有效。
例子
特征选择可以帮助从小波散射自动生成的数百个特征中选择一个合理的子集。下图是应用MATLAB函数得到的前50个特征的排名fscmrmr
从人体活动传感器数据中自动生成小波特征。