主要内容

小波散射

小波散射网络使您能够从实值时间序列和图像数据中获得最小配置的低方差特征,用于机器学习和深度学习应用程序。在你定义的不变性尺度上,这些特征对输入的平移是不敏感的,并且相对于变形是连续的。在二维情况下,特征对旋转也不敏感。散射网络使用预定义的小波和尺度滤波器。

Mallat与Bruna和andén一起开创了研究卷积神经结构的数学框架[2][3][4][5]. Andén和Lostanlen开发了一维信号小波散射的高效算法[4][6]. Oyallon开发了有效的二维散射算法[7]. Andén、Lostanlen和Oyallon是ScatNet的主要贡献者[10]和Kymatio[11]计算散射变换的软件。

Mallat等人描述了深度学习体系结构在从数据中提取有用特征时所具有的三个特性:

  • 多尺度收缩

  • 分层对称的线性化

  • 稀疏表示

小波散射网络具有这些特性。小波变换通过分离不同尺度的变化来线性化小变形,如膨胀。对于许多自然信号,小波变换也提供了稀疏表示。通过将小波变换与下面描述的散射网络的其他特征相结合,散射变换产生最小化差异的数据表示在内部保持可分辨性的类穿过上课。散射变换和深度学习网络之间的一个重要区别是,滤波器是预先定义的,而不是被学习的。因为学习过滤器响应不需要散射变换,所以通常可以在缺少训练数据的情况下成功使用散射。

小波散射变换

小波散射变换分阶段处理数据。一级的输出变为下一级的输入。每个阶段包括三个操作。

零阶散射系数的计算是通过简单的平均输入。下面是算法的树形视图:

这个 { ψ j , k } 小波, ϕ J 是缩放函数,并且 f 是输入数据。对于图像数据,对于每个 ψ j , k ,有一些用户指定的小波旋转。从根到节点的边序列称为A路径. 树节点是标度图系数.这个散射系数标度图系数是否与标度函数卷积 ϕ J . 散射系数集是从数据中导出的低方差特征。和标度函数的卷积是低通滤波,信息丢失。然而,在下一阶段计算系数时,信息被恢复。

要从数据中提取特征,请首先使用waveletScattering(对于时间序列)或小波模式2(用于图像数据)以创建和配置网络。设置的参数包括不变性比例的大小、滤波器组的数量以及每个滤波器组中每倍频程的小波数。在里面小波模式2还可以设置每个小波的旋转次数。若要从时间序列衍生特征,请使用waveletScattering目标函数scatteringTransform特征矩阵. 要从图像数据衍生特征,请使用小波模式2目标函数scatteringTransform特征矩阵

散射变换以迭代方式生成特征。首先,用缩放函数卷积数据, f ϕ J 取得S[0],零阶散射系数。接下来,按以下步骤进行:

  1. 将输入数据与第一个滤波器组中的每个小波滤波器进行小波变换。

  2. 取每个滤波输出的模数。节点是比例图,U[1]

  3. 使用缩放过滤器平均每个模数。结果是一阶散射系数,S[1]

在每个节点重复此过程。

这个scatteringTransform函数返回散射系数和标量图系数。这个特征矩阵函数返回散射特征。这两种输出都可以通过学习算法轻松使用,如中所示小波时间散射在心电信号分类中的应用基于小波图像散射的纹理分类

不变性尺度

尺度滤波器在小波散射网络中起着至关重要的作用。创建小波散射网络时,请指定不变性比例。网络对平移的不变性达到不变性尺度。缩放函数的支持决定了不变量在时间或空间上的大小。万博1manbetx

时不变

对于时间序列数据,不变性尺度是一个持续时间。缩放函数的时间支持万博1manbetx不超过不变量的大小。这张图显示了在一个两秒不变尺度和100赫万博1manbetx兹采样频率的网络中缩放函数的支持。也显示了来自第一滤波器组的最粗尺度小波的实部和虚部。观察功能的时间支持不超过2秒。万博1manbetx

不变性尺度还影响滤波器组中小波中心频率的间距。在由创建的过滤器组中cwtfilterbank,带通中心频率为对数间隔,小波的带宽随中心频率的增加而减小。

然而,在散射网络中,小波的时间支持不能超过不变性尺度。这一特性在最粗尺度小波图中得到了万博1manbetx说明。低于不变尺度的频率以保持不变的尺度线性间隔,以便不超过不变尺度的大小。下一个图显示了散射网络中第一个滤波器组中小波的中心频率。中心频率绘制在线性和对数标度上。注意较高中心频率的对数间隔和较低中心频率的线性间隔。

图像不变性

对于图像数据,“不变性比例”指定N——- - - - - -N缩放过滤器的空间万博1manbetx支持(以像素为单位)。例如,默认情况下小波模式2函数为图像大小128×128和不变性比例64创建小波图像散射网络。下面的曲面图显示了网络中使用的缩放函数。相交的红线形成一个64乘64的正方形。

质量因素与滤波器组

创建小波散射网络时,除了“不变性比例”之外,还可以设置散射滤波器组的质量因子。每个滤波器组的质量因子是每倍频程小波滤波器的数量。小波变换使用指定数量的小波滤波器离散尺度。

此图显示由创建的网络中的小波滤波器waveletScattering. 不变性尺度为1秒,采样频率为200Hz。第一个过滤器组的默认质量值为8,第二个过滤器组的默认质量系数为1。

对于图像数据,不需要大的质量因子。较大的值也会导致显著的计算开销。默认情况下小波模式2创建一个包含两个过滤器组的网络,每个过滤器组的质量因子为1。此图显示了具有两个滤波器组的小波图像散射网络的小波中心频率。第一个滤波器组的品质因数为2,第二个滤波器组的品质因数为1。每个滤波器组的旋转数为6。

实际上

选择适当的小波,散射变换是非扩张的。在网络中迭代时,能量会消散。按命令m增加,能量mth-阶标度图系数和散射系数迅速收敛到0[3]. 能量耗散具有实际的好处。您可以限制网络中小波滤波器组的数量,使信号能量损失最小。公布的结果表明,三阶散射系数的能量可以降到1%以下。对于大多数应用,一个具有两个小波滤波器组的网络就足够了。

考虑小波时间散射网络的树状图。假设有M第一滤波器组中的小波,以及N第二个滤波器组中的小波。在一个简单的实现变得不可行之前,每个滤波器组中的小波滤波器的数量不必很大。高效的实现利用了模函数的低通特性,并对散射系数和标度图系数进行了严格的降采样。这些战略是由安德伦、马拉特、洛斯坦伦和奥亚龙率先提出的[4][6][7]为了使散射变换在计算上实用,同时保持其生成用于学习的低方差数据表示的能力。默认情况下,waveletScattering小波模式2创建关键性降低系数采样的网络。

参考文献

[1] 莱昆,Y.,B.博泽,J.S.丹克,D.亨德森,R.E.霍华德,W.哈伯德和L.D.杰克尔。“使用反向传播网络的手写数字识别”,摘自神经信息处理系统的进展(NIPS 1989)(d . Touretzky ed)。396 - 404。丹佛,CO: Morgan Kaufmann,第二卷,1990。

[2] Mallat, S。“集团不变的散射。”纯粹和应用数学交流. 2012年第65卷第10期,第1331-1398页。

[3] Bruna,J.和S.Mallat。“不变散射卷积网络。”关于模式分析和机器智能的IEEE交易.第35卷第8期,2013年,1872-1886页。

[4] J.和S.Mallat。“深散射光谱。”IEEE信号处理汇刊.第62卷第16期,2014年,414 - 4128页。

[5] 理解深卷积网络英国皇家学会哲学汇刊A。卷374:20150203,2016,pp. 1-16。dx.doi.org/10.1098/rsta.2015.0203。

[6] 洛斯坦伦,V。m-用于小波散射的MATLAB工具箱. https://github.com/lostanlen/scattering.m.

[7] Oyallon,爱德华。Edouard Oyallon网页. https://edouardoyallon.github.io/.

[8] 西弗、L.和S.马拉特。“用于纹理分类的刚体运动散射”。arXiv预印本。2014年,第1-19页。https://arxiv.org/abs/1403.1687.

[9] 西弗、L.和S.马拉特。用于纹理识别的旋转、缩放和变形不变散射2013年IEEE计算机视觉和模式识别会议.2013年,页1233 - 1240。

[10]散射网.https://www.di.ens.fr/data/software/scatnet/。

[11]Kymatio. https://www.kymat.io/.

另见

|

相关的话题