小波散射网络使您能够从实值时间序列和图像数据中获得最小配置的低方差特征,用于机器学习和深度学习应用程序。在你定义的不变性尺度上,这些特征对输入的平移是不敏感的,并且相对于变形是连续的。在二维情况下,特征对旋转也不敏感。散射网络使用预定义的小波和尺度滤波器。
Mallat与Bruna和Andén一起开创了研究卷积神经结构的数学框架[2][3][4][5].Andén和Lostanlen开发了一维信号小波散射的有效算法[4][6].Oyallon开发了有效的二维散射算法[7].Andén、Lostanlen和Oyallon是ScatNet的主要贡献者[10]和Kymatio[11]计算散射变换的软件。
Mallat等人描述了深度学习体系结构从数据中提取有用特征的三个特性:
多尺度收缩
层次对称的线性化
稀疏表示
小波散射网络具有这些特性。小波变换通过分离不同尺度的变化来线性化小变形,如膨胀。对于许多自然信号,小波变换也提供了稀疏表示。通过将小波变换与下面描述的散射网络的其他特征相结合,散射变换产生最小化差异的数据表示在一个类,同时保持可判别性在类。散射变换和深度学习网络之间的一个重要区别是,滤波器是预先定义的,而不是经过学习的。因为散射变换不需要学习滤波器响应,所以在缺乏训练数据的情况下,经常可以成功地使用散射。
小波散射变换分阶段处理数据。一个阶段的输出成为下一个阶段的输入。每个阶段由三个操作组成。
零阶散射系数的计算是通过简单的平均输入。下面是算法的树形视图:
的 小波, 是标度函数吗 是输入数据。在图像数据的情况下,每个 ,有一些用户指定的小波旋转。从根到节点的边序列称为A路径.树节点是量图系数.的散射系数标度图系数是否与标度函数卷积 .散射系数集合是由数据导出的低方差特征。与尺度函数的卷积是低通滤波,信息丢失。然而,当计算下一阶段的系数时,信息被恢复。
要从数据中提取特征,首先使用waveletScattering
(用于时间序列)或waveletScattering2
(用于图像数据)来创建和配置网络。您设置的参数包括不变尺度的大小,滤波器组的数量,以及每个滤波器组中每倍频程的小波的数量。在waveletScattering2
你也可以设置每个小波的旋转次数。要从时间序列中导出特征,请使用waveletScattering
对象的功能scatteringTransform
或featureMatrix
.从图像数据中导出特征,使用waveletScattering2
对象的功能scatteringTransform
或featureMatrix
.
散射变换以迭代的方式生成特征。首先,将数据与比例函数卷积, 获得S [0],即零阶散射系数。接下来,进行如下操作:
将输入数据与第一个滤波器组中的每个小波滤波器进行小波变换。
取每个过滤输出的模。节点是标量图,U [1].
用缩放滤波器平均每个模。结果是一阶散射系数,S [1].
在每个节点重复此过程。
的scatteringTransform
函数返回散射系数和标量图系数。的featureMatrix
函数返回散射特性。通过学习算法,这两种输出都可以很容易地使用,如小波时间散射在心电信号分类中的应用或基于小波图像散射的纹理分类.
尺度滤波器在小波散射网络中起着至关重要的作用。当你创建一个小波散射网络时,你指定了不变性尺度。在不变性尺度上,网络对平移是不变的。缩放函数万博1manbetx的支持度决定了不变量在时间或空间上的大小。
对于时间序列数据,不变性尺度是一个持续时间。缩放函数的时间支持万博1manbetx不超过不变量的大小。这张图显示了在一个两秒不变尺度和100赫万博1manbetx兹采样频率的网络中缩放函数的支持。也显示了来自第一滤波器组的最粗尺度小波的实部和虚部。观察功能的时间支持不超过2秒。万博1manbetx
不变性尺度也影响滤波器组中小波中心频率的间距。创建的过滤器组中cwtfilterbank
时,带通中心频率呈对数间隔,小波带宽随中心频率减小。
然而,在散射网络中,小波的时间支持不能超过不变性尺度。万博1manbetx这一特性在最粗尺度小波图中得到了说明。低于不变比例的频率与保持不变比例的频率线性间隔,以确保不超过不变比例的大小。下一个图显示了散射网络中第一个滤波器组中小波的中心频率。中心频率用线性和对数标度表示。注意高中心频率的对数间距和低中心频率的线性间距。
对于图像数据,不变性比例指定N——- - - - - -N缩放过滤器的空间万博1manbetx支持,以像素为单位。例如,默认情况下waveletScattering2
函数创建图像大小为128 × 128、不变性尺度为64的小波图像散射网络。下面的曲面图显示了网络中使用的缩放函数。两条红线相交形成一个64乘64的正方形。
在创建小波散射网络时,除了不变性尺度外,还设置了散射滤波器组的质量因子。每个滤波器组的质量因子是每个八度的小波滤波器的数目。小波变换使用指定数量的小波滤波器离散尺度。
这张图显示了小波滤波器在由waveletScattering
.不变尺度为1秒,采样频率为200hz。第一滤波器组的默认质量值为8,第二滤波器组的默认质量因子为1。
对于图像数据,不需要大的质量因子。较大的值还会导致巨大的计算开销。默认情况下waveletScattering2
创建一个具有两个滤波器组的网络,每个滤波器组的质量因子为1。图中显示了带有两个滤波器组的小波图像散射网络的小波中心频率。所述第一滤波器组的质量因子为2,所述第二滤波器组的质量因子为1。每个滤波器组的旋转数是6。
适当选择小波,散射变换是非膨胀的。当您在网络中迭代时,能量会耗散。的订单米增加,能量米th-阶尺度图系数和散射系数迅速收敛到0[3].消能有实际的好处。你可以用最小的信号能量损失来限制网络中小波滤波器组的数量。已发表的结果表明,三阶散射系数的能量可以降至1%以下。对于大多数应用来说,具有两个小波滤波器组的网络就足够了。
考虑小波时间散射网络的树形视图。假设有米第一个滤波器组中的小波N第二滤波器组中的小波。每个滤波器组中的小波滤波器的数量不必很大,简单的实现就会变得不可行的。有效的实现利用了模函数的低通特性,并对散射和标度图系数进行了严格的下采样。这些策略由Andén、Mallat、Lostanlen和Oyallon首创[4][6][7]为了使散射变换在计算上实用,同时保持它们产生用于学习的低方差数据表示的能力。默认情况下,waveletScattering
和waveletScattering2
建立严格抽样系数的网络。
莱昆,Y. B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard,和L. D. jackkel。“基于反向传播网络的手写数字识别”在神经信息处理系统进展(NIPS 1989)(d . Touretzky ed)。396 - 404。丹佛,CO: Morgan Kaufmann,第二卷,1990。
[2] Mallat, S。“集团不变的散射。”纯粹和应用数学交流.第65卷第10期,2012年,1331-1398页。
布鲁纳J.和S.马拉特。“不变散射卷积网络”模式分析与机器智能学报.第35卷第8期,2013年,1872-1886页。
[4] Andén, J.和S. Mallat。“深层散射谱。”IEEE信号处理汇刊.第62卷第16期,2014年,414 - 4128页。
[5] Mallat, S。“理解深度卷积网络。”英国皇家学会哲学汇刊A。卷374:20150203,2016,pp. 1-16。dx.doi.org/10.1098/rsta.2015.0203。
[6] Lostanlen, V。散射。米— a MATLAB toolbox for wavelet scattering.https://github.com/lostanlen/scattering.m。
[7] Oyallon,爱德华。Edouard Oyallon的网页.https://edouardoyallon.github.io/。
Sifre, L.和S. Mallat。“用于纹理分类的刚体运动散射”。arXiv预印本。2014年,研究-页。https://arxiv.org/abs/1403.1687。
Sifre, L.和S. Mallat。旋转,缩放和变形不变散射用于纹理识别2013 IEEE计算机视觉与模式识别学术会议.2013年,页1233 - 1240。
[10]ScatNet.https://www.di.ens.fr/data/software/scatnet/。
[11]Kymatio.https://www.kymat.io/。
waveletScattering
|waveletScattering2