特征提取- MATLAB和Simulink万博1manbetxgydF4y2Ba - 万博1manbetx,s manbetx 845,万博尤文图斯

特征提取gydF4y2Ba

什么是特征提取?gydF4y2Ba

特征提取是一组将输入特征映射到新的输出特征的方法。许多特征提取方法使用无监督学习来提取特征。与PCA和NNMF等特征提取方法不同，本节描述的方法可以增加维数(或减少维数)。在内部，方法包括优化非线性目标函数。有关详细信息,请参见gydF4y2Ba稀疏滤波算法gydF4y2Ba或gydF4y2Ba重建ICA算法gydF4y2Ba．gydF4y2Ba

特征提取的一个典型应用是在图像中寻找特征。使用这些特征可以提高分类精度。例如，请参见gydF4y2Ba特征提取工作流程gydF4y2Ba．另一个典型的应用是从叠加信号中提取单个信号，这通常被称为盲源分离。例如，请参见gydF4y2Ba提取混合信号gydF4y2Ba．gydF4y2Ba

有两个特征提取功能：gydF4y2Ba黎加gydF4y2Ba和gydF4y2BasparsefiltgydF4y2Ba．与这些函数相关的是它们创建的对象:gydF4y2Ba重建术gydF4y2Ba和gydF4y2Ba稀疏滤波gydF4y2Ba．gydF4y2Ba

稀疏滤波算法gydF4y2Ba

稀疏滤波算法从数据矩阵开始gydF4y2BaXgydF4y2Ba那已经gydF4y2BangydF4y2Ba行和gydF4y2BapgydF4y2Ba柱。每行代表一次观察，每列代表一次测量。这些列也称为特征或预测值。然后，该算法取初始随机变量gydF4y2BapgydF4y2Ba-借-gydF4y2Ba问gydF4y2Ba权重矩阵gydF4y2BaWgydF4y2Ba或者使用传递进来的权矩阵gydF4y2Ba初始转换权重gydF4y2Ba名称-值对。gydF4y2Ba问gydF4y2Ba是所请求的功能的数量gydF4y2BasparsefiltgydF4y2Ba计算。gydF4y2Ba

该算法试图最小化gydF4y2Ba稀疏滤波目标函数gydF4y2Ba通过使用标准的有限内存Broyden-Fletcher-Goldfarb-Shanno（LBFGS）拟牛顿优化器。见Nocedal和WrightgydF4y2Ba［２］gydF4y2Ba. 此优化器占用多达gydF4y2BaIterationLimitgydF4y2Ba迭代。当它执行一个规范小于的步骤时，它会更早地停止迭代gydF4y2BaStepTolerancegydF4y2Ba，或计算当前点处的梯度范数小于gydF4y2BaGradientTolerancegydF4y2Ba乘以一个标量gydF4y2BaτgydF4y2Ba哪里gydF4y2Ba

$τgydF4y2Ba ＝gydF4y2Ba 最大值gydF4y2Ba （gydF4y2Ba 1gydF4y2Ba ，gydF4y2Ba 最小值gydF4y2Ba （gydF4y2Ba |gydF4y2Ba fgydF4y2Ba |gydF4y2Ba ，gydF4y2Ba {为gydF4y2Ba {ggydF4y2Ba}_{0gydF4y2Ba} 为gydF4y2Ba}_{∞gydF4y2Ba} ）gydF4y2Ba ）gydF4y2Ba ．gydF4y2Ba$

|gydF4y2BafgydF4y2Ba|为目标函数的范数，和gydF4y2Ba ${为gydF4y2Ba {ggydF4y2Ba}_{0gydF4y2Ba} 为gydF4y2Ba}_{∞gydF4y2Ba}$ 是初始梯度的无穷模。gydF4y2Ba

目标函数试图同时获得每个数据点的几个非零特征，并使每个结果特征具有几乎相等的权重。要了解目标函数如何尝试实现这些目标，请参阅Ngiam、Koh、Chen、Bhaskar和NggydF4y2Ba[1]gydF4y2Ba．gydF4y2Ba

通常，您可以通过设置一个相对较小的值来获得好的特性gydF4y2BaIterationLimitgydF4y2Ba，从5到几百。允许优化器继续运行可能会导致过度训练，提取的特征不能很好地推广到新数据。gydF4y2Ba

在构建一个gydF4y2Ba稀疏滤波gydF4y2Ba对象，使用gydF4y2Ba使改变gydF4y2Ba方法将输入数据映射到新的输出特性。gydF4y2Ba

稀疏滤波目标函数gydF4y2Ba

为了计算目标函数，稀疏滤波算法使用以下步骤。目标函数取决于gydF4y2BangydF4y2Ba-借-gydF4y2BapgydF4y2Ba数据矩阵gydF4y2BaXgydF4y2Ba和一个权矩阵gydF4y2BaWgydF4y2Ba优化器的变化。权重矩阵gydF4y2BaWgydF4y2Ba有尺寸gydF4y2BapgydF4y2Ba-借-gydF4y2Ba问gydF4y2Ba哪里gydF4y2BapgydF4y2Ba是原始功能和gydF4y2Ba问gydF4y2Ba是请求的功能的数量。gydF4y2Ba

计算gydF4y2BangydF4y2Ba-借-gydF4y2Ba问gydF4y2Ba矩阵gydF4y2BaX*WgydF4y2Ba. 应用近似绝对值函数gydF4y2Ba $ϕgydF4y2Ba （gydF4y2Ba ugydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba \sqrt{{ugydF4y2Ba}^{2gydF4y2Ba} +gydF4y2Ba {10gydF4y2Ba}^{-gydF4y2Ba 8gydF4y2Ba}}$ 每个元素gydF4y2BaX*WgydF4y2Ba得到矩阵gydF4y2BaFgydF4y2Ba．gydF4y2BaϕgydF4y2Ba是一个近似于绝对值函数的光滑非负对称函数。gydF4y2Ba
的列规范化gydF4y2BaFgydF4y2Ba大致上gydF4y2BalgydF4y2Ba^2gydF4y2Ba标准换句话说，定义规范化矩阵gydF4y2Ba $\overset{˜gydF4y2Ba}{FgydF4y2Ba} （gydF4y2Ba 我gydF4y2Ba ，gydF4y2Ba jgydF4y2Ba ）gydF4y2Ba$ 通过gydF4y2Ba

$\begin{matrix} 为gydF4y2Ba FgydF4y2Ba （gydF4y2Ba jgydF4y2Ba ）gydF4y2Ba 为gydF4y2Ba ＝gydF4y2Ba \sqrt{{\sumgydF4y2Ba}_{我gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba}^{ngydF4y2Ba} {（gydF4y2Ba FgydF4y2Ba （gydF4y2Ba 我gydF4y2Ba ，gydF4y2Ba jgydF4y2Ba ）gydF4y2Ba ）gydF4y2Ba}^{2gydF4y2Ba} +gydF4y2Ba {10gydF4y2Ba}^{-gydF4y2Ba 8gydF4y2Ba}} \\ \overset{˜gydF4y2Ba}{FgydF4y2Ba} （gydF4y2Ba 我gydF4y2Ba ，gydF4y2Ba jgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba FgydF4y2Ba （gydF4y2Ba 我gydF4y2Ba ，gydF4y2Ba jgydF4y2Ba ）gydF4y2Ba /gydF4y2Ba 为gydF4y2Ba FgydF4y2Ba （gydF4y2Ba jgydF4y2Ba ）gydF4y2Ba 为gydF4y2Ba ．gydF4y2Ba \end{matrix}$
规范化gydF4y2Ba $\overset{˜gydF4y2Ba}{FgydF4y2Ba} （gydF4y2Ba 我gydF4y2Ba ，gydF4y2Ba jgydF4y2Ba ）gydF4y2Ba$ 大致上gydF4y2BalgydF4y2Ba^2gydF4y2Ba标准换句话说，定义规范化矩阵gydF4y2Ba $\overset{＾gydF4y2Ba}{FgydF4y2Ba} （gydF4y2Ba 我gydF4y2Ba ，gydF4y2Ba jgydF4y2Ba ）gydF4y2Ba$ 通过gydF4y2Ba

$\begin{matrix} 为gydF4y2Ba \overset{˜gydF4y2Ba}{FgydF4y2Ba} （gydF4y2Ba 我gydF4y2Ba ）gydF4y2Ba 为gydF4y2Ba ＝gydF4y2Ba \sqrt{{\sumgydF4y2Ba}_{jgydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba}^{问gydF4y2Ba} {（gydF4y2Ba \overset{˜gydF4y2Ba}{FgydF4y2Ba} （gydF4y2Ba 我gydF4y2Ba ，gydF4y2Ba jgydF4y2Ba ）gydF4y2Ba ）gydF4y2Ba}^{2gydF4y2Ba} +gydF4y2Ba {10gydF4y2Ba}^{-gydF4y2Ba 8gydF4y2Ba}} \\ \overset{＾gydF4y2Ba}{FgydF4y2Ba} （gydF4y2Ba 我gydF4y2Ba ，gydF4y2Ba jgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba \overset{˜gydF4y2Ba}{FgydF4y2Ba} （gydF4y2Ba 我gydF4y2Ba ，gydF4y2Ba jgydF4y2Ba ）gydF4y2Ba /gydF4y2Ba 为gydF4y2Ba \overset{˜gydF4y2Ba}{FgydF4y2Ba} （gydF4y2Ba 我gydF4y2Ba ）gydF4y2Ba 为gydF4y2Ba ．gydF4y2Ba \end{matrix}$

矩阵gydF4y2Ba $\overset{＾gydF4y2Ba}{FgydF4y2Ba}$ 是中已转换特征的矩阵gydF4y2BaXgydF4y2Ba. 一旦gydF4y2BasparsefiltgydF4y2Ba查找权重gydF4y2BaWgydF4y2Ba最小化目标函数gydF4y2BahgydF4y2Ba(见下面)，函数将其存储在输出对象中gydF4y2BaMdlgydF4y2Ba在gydF4y2Ba多重加权gydF4y2Ba财产gydF4y2Ba使改变gydF4y2Ba函数可以按照相同的转换步骤将新数据转换为输出特性。gydF4y2Ba
计算目标函数gydF4y2BahgydF4y2Ba（gydF4y2BaWgydF4y2Ba)为矩阵的1范数gydF4y2Ba $\overset{＾gydF4y2Ba}{FgydF4y2Ba} （gydF4y2Ba 我gydF4y2Ba ，gydF4y2Ba jgydF4y2Ba ）gydF4y2Ba$ ，表示矩阵中所有元素(构造为非负)的和:gydF4y2Ba

$hgydF4y2Ba （gydF4y2Ba WgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba {\sumgydF4y2Ba}_{jgydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba}^{问gydF4y2Ba} {\sumgydF4y2Ba}_{我gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba}^{ngydF4y2Ba} \overset{＾gydF4y2Ba}{FgydF4y2Ba} （gydF4y2Ba 我gydF4y2Ba ，gydF4y2Ba jgydF4y2Ba ）gydF4y2Ba ．gydF4y2Ba$
如果你设置gydF4y2BaλgydF4y2Ba名称-值对为严格正的值，gydF4y2BasparsefiltgydF4y2Ba使用以下修改后的目标函数:gydF4y2Ba

$hgydF4y2Ba （gydF4y2Ba WgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba {\sumgydF4y2Ba}_{jgydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba}^{问gydF4y2Ba} {\sumgydF4y2Ba}_{我gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba}^{ngydF4y2Ba} \overset{＾gydF4y2Ba}{FgydF4y2Ba} （gydF4y2Ba 我gydF4y2Ba ，gydF4y2Ba jgydF4y2Ba ）gydF4y2Ba +gydF4y2Ba λgydF4y2Ba {\sumgydF4y2Ba}_{jgydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba}^{问gydF4y2Ba} {wgydF4y2Ba}_{jgydF4y2Ba}^{TgydF4y2Ba} {wgydF4y2Ba}_{jgydF4y2Ba} ．gydF4y2Ba$

在这里,gydF4y2BawgydF4y2Ba_jgydF4y2Ba是矩阵的第j列gydF4y2BaWgydF4y2Ba和gydF4y2BaλgydF4y2Ba的价值gydF4y2BaλgydF4y2Ba. 这个术语的作用是收缩重量gydF4y2BaWgydF4y2Ba．如果你画出gydF4y2BaWgydF4y2Ba作为图像，带有积极意义gydF4y2BaλgydF4y2Ba这些图像与零的图像相比显得平滑gydF4y2BaλgydF4y2Ba．gydF4y2Ba

重建ICA算法gydF4y2Ba

重建独立分量分析（RICA）算法基于最小化目标函数，该算法将输入数据映射到输出特征。gydF4y2Ba

ICA源模型如下所示。每一个观察gydF4y2BaxgydF4y2Ba是由一个随机向量生成的吗gydF4y2Ba年代gydF4y2Ba根据gydF4y2Ba

$xgydF4y2Ba ＝gydF4y2Ba μgydF4y2Ba +gydF4y2Ba 一个gydF4y2Ba 年代gydF4y2Ba ．gydF4y2Ba$

xgydF4y2Ba是长度的列向量gydF4y2BapgydF4y2Ba．gydF4y2Ba
μgydF4y2Ba是长度的列向量gydF4y2BapgydF4y2Ba表示常数项的。gydF4y2Ba
年代gydF4y2Ba是长度的列向量gydF4y2Ba问gydF4y2Ba其元素是统计上相互独立的零均值、单位方差随机变量。gydF4y2Ba
一个gydF4y2Ba混合矩阵的大小是多少gydF4y2BapgydF4y2Ba-借-gydF4y2Ba问gydF4y2Ba．gydF4y2Ba

您可以在gydF4y2Ba黎加gydF4y2Ba估计gydF4y2Ba一个gydF4y2Ba从观察的gydF4y2BaxgydF4y2Ba看见gydF4y2Ba提取混合信号gydF4y2Ba．gydF4y2Ba

RICA算法从数据矩阵开始gydF4y2BaXgydF4y2Ba那已经gydF4y2BangydF4y2Ba行和gydF4y2BapgydF4y2Ba由观察值组成的列gydF4y2BaxgydF4y2Ba_我gydF4y2Ba：gydF4y2Ba

$XgydF4y2Ba ＝gydF4y2Ba ［gydF4y2Ba \begin{matrix} {xgydF4y2Ba}_{1gydF4y2Ba}^{TgydF4y2Ba} \\ {xgydF4y2Ba}_{2gydF4y2Ba}^{TgydF4y2Ba} \\ ⋮gydF4y2Ba \\ {xgydF4y2Ba}_{ngydF4y2Ba}^{TgydF4y2Ba} \end{matrix} ］gydF4y2Ba ．gydF4y2Ba$

每一行代表一个观察值，每一列代表一个测量值。这些列也称为特性或预测器。然后算法取一个初始随机变量gydF4y2BapgydF4y2Ba-借-gydF4y2Ba问gydF4y2Ba权重矩阵gydF4y2BaWgydF4y2Ba或者使用传递进来的权矩阵gydF4y2Ba初始转换权重gydF4y2Ba名称-值对。gydF4y2Ba问gydF4y2Ba是所请求的功能的数量gydF4y2Ba黎加gydF4y2Ba计算。权重矩阵gydF4y2BaWgydF4y2Ba由列组成gydF4y2BawgydF4y2Ba_我gydF4y2Ba大小gydF4y2BapgydF4y2Ba-by-1：gydF4y2Ba

$WgydF4y2Ba ＝gydF4y2Ba ［gydF4y2Ba \begin{matrix} {wgydF4y2Ba}_{1gydF4y2Ba} & {wgydF4y2Ba}_{2gydF4y2Ba} & ．．.gydF4y2Ba & {wgydF4y2Ba}_{问gydF4y2Ba} \end{matrix} ］gydF4y2Ba ．gydF4y2Ba$

该算法试图最小化gydF4y2Ba重建ICA目标函数gydF4y2Ba通过使用标准的有限内存Broyden-Fletcher-Goldfarb-Shanno（LBFGS）拟牛顿优化器。见Nocedal和WrightgydF4y2Ba［２］gydF4y2Ba. 此优化器占用多达gydF4y2BaIterationLimitgydF4y2Ba迭代。当它执行一个范数小于的步骤时，它停止迭代gydF4y2BaStepTolerancegydF4y2Ba，或计算当前点处的梯度范数小于gydF4y2BaGradientTolerancegydF4y2Ba乘以一个标量gydF4y2BaτgydF4y2Ba哪里gydF4y2Ba

|gydF4y2BafgydF4y2Ba|为目标函数的范数，和gydF4y2Ba ${为gydF4y2Ba {ggydF4y2Ba}_{0gydF4y2Ba} 为gydF4y2Ba}_{∞gydF4y2Ba}$ 是初始梯度的无穷模。gydF4y2Ba

目标函数试图获得一个近似正交的权重矩阵，该矩阵使目标函数的元素之和最小化gydF4y2BaggydF4y2Ba（gydF4y2BaXWgydF4y2Ba),gydF4y2BaggydF4y2Ba是否有一个函数(如下所述)应用于元素gydF4y2BaXWgydF4y2Ba．要了解目标函数是如何尝试实现这些目标的，请参阅Le、Karpenko、Ngiam和NggydF4y2Ba［3］gydF4y2Ba．gydF4y2Ba

在构建一个gydF4y2Ba重建术gydF4y2Ba对象，使用gydF4y2Ba使改变gydF4y2Ba方法将输入数据映射到新的输出特性。gydF4y2Ba

重建ICA目标函数gydF4y2Ba

目标函数使用一个对比函数，你可以用gydF4y2Ba对比度gydF4y2Ba名称-值对。对比度函数是一个类似于绝对值的平滑凸函数。默认情况下，对比度函数为gydF4y2Ba $ggydF4y2Ba ＝gydF4y2Ba \frac{1gydF4y2Ba}{2gydF4y2Ba} 日志gydF4y2Ba （gydF4y2Ba 科什gydF4y2Ba （gydF4y2Ba 2gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ）gydF4y2Ba$ ．有关其他可用的对比度函数，请参见gydF4y2Ba对比度gydF4y2Ba．gydF4y2Ba

对于一个gydF4y2BangydF4y2Ba-借-gydF4y2BapgydF4y2Ba数据矩阵gydF4y2BaXgydF4y2Ba和gydF4y2Ba问gydF4y2Ba输出特征，带有正则化参数gydF4y2BaλgydF4y2Ba作为gydF4y2BaλgydF4y2Ba名称-值对，目标函数的gydF4y2BapgydF4y2Ba-借-gydF4y2Ba问gydF4y2Ba矩阵gydF4y2BaWgydF4y2Ba是gydF4y2Ba

$hgydF4y2Ba ＝gydF4y2Ba \frac{λgydF4y2Ba}{ngydF4y2Ba} {\sumgydF4y2Ba}_{我gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba}^{ngydF4y2Ba} {为gydF4y2Ba WgydF4y2Ba {WgydF4y2Ba}^{TgydF4y2Ba} {xgydF4y2Ba}_{我gydF4y2Ba} -gydF4y2Ba {xgydF4y2Ba}_{我gydF4y2Ba} 为gydF4y2Ba}_{2gydF4y2Ba}^{2gydF4y2Ba} +gydF4y2Ba \frac{1gydF4y2Ba}{ngydF4y2Ba} {\sumgydF4y2Ba}_{我gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba}^{ngydF4y2Ba} {\sumgydF4y2Ba}_{jgydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba}^{问gydF4y2Ba} {σgydF4y2Ba}_{jgydF4y2Ba} ggydF4y2Ba （gydF4y2Ba {wgydF4y2Ba}_{jgydF4y2Ba}^{TgydF4y2Ba} {xgydF4y2Ba}_{我gydF4y2Ba} ）gydF4y2Ba$

的gydF4y2BaσgydF4y2Ba_jgydF4y2Ba是±1的已知常数。当gydF4y2BaσgydF4y2Ba_jgydF4y2Ba= + 1gydF4y2Ba，最小化目标函数gydF4y2BahgydF4y2Ba鼓励使用gydF4y2Ba ${wgydF4y2Ba}_{jgydF4y2Ba}^{TgydF4y2Ba} {xgydF4y2Ba}_{我gydF4y2Ba}$ 在0处急剧达到峰值（超高斯）。什么时候gydF4y2BaσgydF4y2Ba_jgydF4y2Ba= –1gydF4y2Ba，最小化目标函数gydF4y2BahgydF4y2Ba鼓励使用gydF4y2Ba ${wgydF4y2Ba}_{jgydF4y2Ba}^{TgydF4y2Ba} {xgydF4y2Ba}_{我gydF4y2Ba}$ 在0（亚高斯）附近更平坦。指定gydF4y2BaσgydF4y2Ba_jgydF4y2Ba值使用gydF4y2Ba黎加gydF4y2Ba非澳大利亚指标gydF4y2Ba名称-值对。gydF4y2Ba

目标函数gydF4y2BahgydF4y2Ba当gydF4y2BaλgydF4y2Ba是零。因此,gydF4y2Ba黎加gydF4y2Ba最小化gydF4y2BahgydF4y2Ba在gydF4y2BaWgydF4y2Ba归一化为1。换句话说，每一列gydF4y2BawgydF4y2Ba_jgydF4y2Ba属于gydF4y2BaWgydF4y2Ba是用列向量定义的吗gydF4y2BavgydF4y2Ba_jgydF4y2Ba通过gydF4y2Ba

${wgydF4y2Ba}_{jgydF4y2Ba} ＝gydF4y2Ba \frac{{vgydF4y2Ba}_{jgydF4y2Ba}}{\sqrt{{vgydF4y2Ba}_{jgydF4y2Ba}^{TgydF4y2Ba} {vgydF4y2Ba}_{jgydF4y2Ba} +gydF4y2Ba {10gydF4y2Ba}^{-gydF4y2Ba 8gydF4y2Ba}}} ．gydF4y2Ba$

黎加gydF4y2Ba在整个过程中最小化gydF4y2BavgydF4y2Ba_jgydF4y2Ba. 得到的最小矩阵gydF4y2BaWgydF4y2Ba提供从输入数据的转换gydF4y2BaXgydF4y2Ba输出特性gydF4y2BaXWgydF4y2Ba．gydF4y2Ba

工具书类gydF4y2Ba

[1] Ngiam、Jiquan、Chen Zhenghao、Sonia A.Bhaskar、Pang W.Koh和Andrew Y.Ng。“稀疏过滤。”gydF4y2Ba神经信息处理系统研究进展。gydF4y2Ba2011年第24卷，第1125-1133页。gydF4y2Bahttps://papers.nips.cc/paper/4334-sparse-filtering.pdfgydF4y2Ba．gydF4y2Ba

[2] Nocedal，J.和S.J.Wright。gydF4y2Ba数值优化gydF4y2Ba，第二版。运筹学中的斯普林格系列，斯普林格·维拉格，2006年。gydF4y2Ba

[3] Le, Quoc V.， Alexandre Karpenko, Jiquan Ngiam, Andrew Y. Ng。“基于重构代价的ICA高效过完备特征学习”。gydF4y2Ba神经信息处理系统研究进展。gydF4y2Ba2011年第24卷，第1017-1025页。gydF4y2Bahttps://papers.nips.cc/paper/4467-ica-with-reconstruction-cost-for-efficient-overcomplete-feature-learning.pdfgydF4y2Ba．gydF4y2Ba