主要内容

audioFeatureExtractor

流线音频特征提取

展开全部页面

描述

audioFeatureExtractor封装多个音频特征提取到一个流线型和模块化的实现。

创建

语法

aFE = audioFeatureExtractor()
aFE = audioFeatureExtractor(Name=Value)

描述

aFE= audioFeatureExtractor ()使用默认属性值创建音频特征提取器。

例子

aFE= audioFeatureExtractor (名称=值）的非默认属性aFE使用一个或多个名称-值参数。

属性

全部展开

主要特性

分析窗口，指定为实向量。

数据类型:单|双

相邻分析窗口的重叠长度，指定为范围为[0，元素个数(窗口））.

数据类型:单|双

FFT长度，指定为整数。的默认值［］表示FFT长度等于窗口长度元素个数(窗口）．

数据类型:单|双

输入采样率(以Hz为单位)，指定为正标量。

数据类型:单|双

谱描述符的输入，指定为“linearSpectrum”，“melSpectrum”，“barkSpectrum”,或“erbSpectrum”．

受此属性影响的谱描述符有:

频谱描述符的频谱输入与对应特征的输出相同:

例如，如果你设置SpectralDescriptorInput来“barkSpectrum”,spectralCentroid来真正的,然后aFE返回默认Bark谱的质心。

[audioIn,fs] = audioread(“Counting-16-44p1-mono-15secs.wav”）;aFE = audioFeatureExtractor(SampleRate=fs，.．.SpectralDescriptorInput =“barkSpectrum”，.．.spectralCentroid = true);barkSpectralCentroid = extract(aFE,audioIn);
如果您指定了一个非默认值barkSpectrum使用setExtractorParameters，则非默认Bark谱作为谱描述符的输入。例如，如果你打电话setExtractorParameters (aFE“barkSpectrum NumBands = 40),然后aFE返回40波段Bark谱的质心。

setExtractorParameters (aFE“barkSpectrum”，NumBands=40) bark40SpectralCentroid = extract(aFE,audioIn);

数据类型:字符|字符串

此属性是只读的。

输出的特性的总数提取对于当前对象配置，指定为正整数。FeatureVectorLength等于提取函数。

数据类型:单|双

需要提取的特征

提取单边线性谱，指定为真正的或假．

设置线性谱提取参数，使用setExtractorParameters：

setExtractorParameters (aFE“linearSpectrum”名称=值)
线性谱提取可设置参数为:

  • FrequencyRange——提取频谱的频率范围，以Hz为单位，指定为范围[0，SampleRate/ 2)。如果未指定的,FrequencyRange默认为[0,SampleRate/ 2)．

  • SpectrumType——频谱类型，指定为“权力”或“级”．如果未指定的,SpectrumType默认为“权力”．

  • WindowNormalization——应用窗口规范化，指定为真正的或假．如果未指定的,WindowNormalization默认为真正的．

数据类型:逻辑

提取单侧梅尔光谱，指定为真正的或假．

设置mel光谱提取参数，使用setExtractorParameters：

setExtractorParameters (aFE“melSpectrum”名称=值)
mel光谱提取的可设置参数为:

  • FrequencyRange——提取频谱的频率范围，以Hz为单位，指定为范围[0，SampleRate/ 2)。如果未指定的,FrequencyRange默认为[0,SampleRate/ 2)．

  • SpectrumType——频谱类型，指定为“权力”或“级”．如果未指定的,SpectrumType默认为“权力”．

  • NumBands——mel波段的个数，指定为整数。如果未指定的,NumBands默认为32．

  • FilterBankNormalization——应用于带通滤波器的归一化，指定为“带宽”，“区域”,或“没有”．如果未指定的,FilterBankNormalization默认为“带宽”．

  • WindowNormalization——应用窗口规范化，指定为真正的或假．如果未指定的,WindowNormalization默认为真正的．

  • FilterBankDesignDomain——设计滤波器组的域，指定为任意一个“线性”或“扭曲”．如果未指定的,FilterBankDesignDomain默认为“线性”．

数据类型:逻辑

提取单边树皮谱，指定为真正的或假．

如需设置Bark谱提取参数，请使用setExtractorParameters：

setExtractorParameters (aFE“barkSpectrum”名称=值)
树皮光谱提取的可设置参数为:

  • FrequencyRange——提取频谱的频率范围，以Hz为单位，指定为范围[0，SampleRate/ 2)。如果未指定的,FrequencyRange默认为[0,SampleRate/ 2)．

  • SpectrumType——频谱类型，指定为“权力”或“级”．如果未指定的,SpectrumType默认为“权力”．

  • NumBands——Bark频带的个数，指定为整数。如果未指定的,NumBands默认为32．

  • FilterBankNormalization——应用于带通滤波器的归一化，指定为“带宽”，“区域”,或“没有”．如果未指定的,FilterBankNormalization默认为“带宽”．

  • WindowNormalization——应用窗口规范化，指定为真正的或假．如果未指定的,WindowNormalization默认为真正的．

  • FilterBankDesignDomain——设计滤波器组的域，指定为任意一个“线性”或“扭曲”．如果未指定的,FilterBankDesignDomain默认为“线性”．

数据类型:逻辑

提取单边ERB谱，指定为真正的或假．

如果需要设置ERB频谱提取参数，请使用setExtractorParameters：

setExtractorParameters (aFE“erbSpectrum”名称=值)
ERB频谱提取可设置参数为:

  • FrequencyRange——提取频谱的频率范围，以Hz为单位，指定为范围[0，SampleRate/ 2)。如果未指定的,FrequencyRange默认为[0,SampleRate/ 2)．

  • SpectrumType——频谱类型，指定为“权力”或“级”．如果未指定的,SpectrumType默认为“权力”．

  • NumBands——ERB带的个数，以整数形式指定。如果未指定的,NumBands默认为(即:hz2erb(FrequencyRange (2))hz2erb(FrequencyRange (1)))．

  • FilterBankNormalization——应用于带通滤波器的归一化，指定为“带宽”，“区域”,或“没有”．如果未指定的,FilterBankNormalization默认为“带宽”．

  • WindowNormalization——应用窗口规范化，指定为真正的或假．如果未指定的,WindowNormalization默认为真正的．

数据类型:逻辑

提取梅尔频率倒谱系数(MFCC)，指定为真正的或假．

设置MFCC提取参数，使用setExtractorParameters：

setExtractorParameters (aFE“mfcc”名称=值)
MFCC提取的可设置参数为:

  • NumCoeffs——为每个窗口返回的系数数，指定为正整数。如果未指定的,NumCoeffs默认为13．

  • DeltaWindowLength——Delta窗口长度，指定为大于2的奇数。如果未指定的,DeltaWindowLength默认为9．此参数影响mfccDelta而且mfccDeltaDelta特性。

  • 整改——非线性整流类型，指定为“日志”或“立方根”．

计算了梅尔频率倒谱系数melSpectrum．

数据类型:逻辑

提取MFCC的delta，指定为真正的或假．

在提取的MFCC的基础上计算了delta MFCC。参数设置mfcc影响mfccDelta．

数据类型:逻辑

提取MFCC的delta-delta，指定为真正的或假．

在提取MFCC的基础上计算delta-delta MFCC。参数设置mfcc影响mfccDeltaDelta．

数据类型:逻辑

提取伽马酮倒谱系数(GTCC)，指定为真正的或假．

如需设置GTCC提取参数，请使用setExtractorParameters：

setExtractorParameters (aFE“gtcc”名称=值)
GTCC提取可设置参数为:

  • NumCoeffs——为每个窗口返回的系数数，指定为正整数。如果未指定的,NumCoeffs默认为13．

  • DeltaWindowLength——Delta窗口长度，指定为大于2的奇数。如果未指定的,DeltaWindowLength默认为9．此参数影响gtccDelta而且gtccDeltaDelta特性。

  • 整改——非线性整流类型，指定为“日志”或“立方根”．

γ谱倒谱系数是用erbSpectrum．

数据类型:逻辑

提取GTCC的delta，指定为真正的或假．

基于提取的GTCC计算δ GTCC。参数设置gtcc影响gtccDelta．

数据类型:逻辑

提取GTCC的delta-delta，指定为真正的或假．

基于提取的GTCC计算delta-delta GTCC。参数设置gtcc影响gtccDeltaDelta．

数据类型:逻辑

提取光谱质心，指定为真正的或假．

谱质心是根据下列谱表示法之一计算的，如SpectralDescriptorInput属性:

数据类型:逻辑

提取谱峰，指定为真正的或假．

方法所指定的下列光谱表示之一上计算光谱波峰SpectralDescriptorInput属性:

数据类型:逻辑

提取谱下降，指定为真正的或假．

谱衰减是根据下列谱表示之一计算的，如SpectralDescriptorInput属性:

数据类型:逻辑

提取光谱熵，指定为真正的或假．

谱熵是根据下列谱表示之一计算的，如SpectralDescriptorInput属性:

数据类型:逻辑

提取光谱平坦度，指定为真正的或假．

谱平坦度是根据下列谱表示之一计算的，如SpectralDescriptorInput属性:

数据类型:逻辑

提取光谱通量，指定为真正的或假．

谱通量是根据下列谱表示法之一计算的SpectralDescriptorInput属性:

若要设置光谱通量提取的参数，请使用setExtractorParameters：

setExtractorParameters (aFE“spectralFlux”名称=值)
谱通量提取可设置参数为:

  • NormType——用于计算光谱通量的Norm类型，指定为1或2．如果未指定的,NormType默认为2．

数据类型:逻辑

提取谱峰度，指定为真正的或假．

谱峰度是根据下列谱表示法之一计算的，如SpectralDescriptorInput属性:

数据类型:逻辑

提取光谱滚转点，指定为真正的或假．

属性所指定的下列光谱表示之一上计算光谱滚落点SpectralDescriptorInput属性:

要设置光谱滚转点提取的参数，请使用setExtractorParameters：

setExtractorParameters (aFE“spectralRolloffPoint”名称=值)
谱通量提取可设置参数为:

  • 阈值——滚出点的阈值，指定为范围(0,1)中的标量。如果未指定，阈值默认为0.95．

数据类型:逻辑

提取光谱偏度，指定为真正的或假．

方法所指定的下列光谱表示之一上计算光谱偏度SpectralDescriptorInput属性:

数据类型:逻辑

提取光谱斜率，指定为真正的或假．

谱斜率是根据下列谱表示之一计算的，由SpectralDescriptorInput属性:

数据类型:逻辑

提取谱扩展，指定为真正的或假．

方法所指定的下列光谱表示之一计算光谱扩展SpectralDescriptorInput属性:

数据类型:逻辑

提取螺距，指定为真正的或假．

要设置基音提取参数，请使用setExtractorParameters：

setExtractorParameters (aFE“节”名称=值)
可设置的基音提取参数为:

  • 方法——用于计算螺距的方法，指定为“PEF”，“NCF”，“CEP”，“韩”,或“SRH”．如果未指定的,方法默认为“NCF”．有关可用的音调提取方法的说明，请参见球场．

  • 范围——Range within用于搜索以Hz为单位的音调，指定为递增值的两元素行向量。如果未指定的,范围默认为[50400]．

  • MedianFilterLength—用于平滑基音估计的中值滤波器长度，指定为正整数。如果未指定的,MedianFilterLength默认为1(没有中值过滤)。

数据类型:逻辑

提取谐波比，指定为真正的或假．

数据类型:逻辑

提取过零率，指定为真正的或假．

要设置过零率提取的参数，使用setExtractorParameters：

setExtractorParameters (aFE“zerocrossrate”名称=值)
过零率提取的可设置参数为:

  • 方法——计算过零率的方法，指定为“差异”或“比较”．如果未指定的,方法，默认为“差异”．有关更多信息，请参见zerocrossrate．

  • 水平——计算交叉率的信号电平，指定为实标量。audioFeatureExtractor减去的水平值，然后找到零交叉点。如果未指定的,水平默认为0．

  • 阈值阈值高于和低于水平用于计算交叉速率的值，指定为实标量。audioFeatureExtractor设置范围内输入的所有值(- - - - - -阈值，阈值］来0然后求零交点。如果未指定的,阈值默认为0．

  • TransitionEdge-计算零交叉时要包括的过渡，指定为“下降”，“上升”,或“两个”．如果你指定“下降”，只计算负向转换。如果你指定“上升”，只计算正向的转换。如果未指定的,TransitionEdge默认为“两个”．

  • ZeroPositive-符号约定，指定为逻辑标量。如果你指定ZeroPositive作为真正的,然后0被认为是积极的。如果你指定ZeroPositive作为假,然后audioFeatureExtractor认为0，1,＋1有明显的标志遵循的惯例标志函数。如果未指定的,ZeroPositive默认为假．

数据类型:逻辑

提取短时间能量，指定为真正的或假．短时能量计算采用

sTE = sum(xbw.^2,1)，

在哪里xbw是缓冲和窗口信号。

[示例]Chirp函数

产生一个啁啾采样在1千赫3秒。瞬时频率为100hz t ＝ 0 超过200hz t ＝ 1 第二。将信号划分为103个样本段，相邻片段之间重叠的样本为43个。用周期性的汉明窗口对每个片段进行窗口操作。

Fs = 1e3;X = chirp(0:1/fs: 3,100,1200)';温=汉明(103，“周期”）;Nover = 43;[xb，~] = buffer(x,length(win)，nover，“nodelay”）;XBW = xb.*win;

利用定义计算短时能量。

Edef = sum(xbw.^2,1)';

使用audioFeatureExtractor计算短时能量。

EaFE = extract(audioFeatureExtractor(shortTimeEnergy=true，.．.SampleRate = fs,窗口=赢,OverlapLength =也不要),x);

验证两个程序提供相同的短时间能量。

dff = max(abs(EaFE-Edef))
DFF = 0

数据类型:逻辑

对象的功能

提取 提取音频特征
setExtractorParameters 为各个特征提取器设置非默认参数值
信息 输出映射和单独的特征提取器参数
generateMATLABFunction 创建MATLAB函数兼容C/ c++代码生成

例子

全部折叠

打开实时脚本

读入音频信号。

[audioIn,fs] = audioread(“Counting-16-44p1-mono-15secs.wav”）;

创建一个audioFeatureExtractor对象，提取信号的MFCC、δ MFCC、δ - δ MFCC、基音、谱质心、过零率和短时能量。使用30毫秒的分析窗口和20毫秒的重叠。

aFE = audioFeatureExtractor(.．.SampleRate = fs,.．.窗口=汉明(圆(0.03 * fs),“周期”)，.．.OverlapLength = (0.02 * fs),.．.mfcc = true,.．.mfccDelta = true,.．.mfccDeltaDelta = true,.．.= true,.．.spectralCentroid = true,.．.zerocrossrate = true,.．.shortTimeEnergy = true);

调用提取从音频信号中提取音频特征。

features = extract(aFE,audioIn);

使用信息以确定特征提取矩阵的哪一列对应于所请求的基音提取。

idx = info(aFE)
idx =带字段的结构:mfcc: [1 23 4 5 6 7 8 9 10 11 12 13] mfccDelta: [14 15 16 17 18 19 20 21 22 23 24 25 26] mfccDeltaDelta: [27 28 29 30 31 32 33 34 35 36 37 38 39] spectralCentroid: 40 pitch: 41 zerocrossrate: 42 shortTimeEnergy: 43

绘制检测到的音调随时间的变化。

t = linspace(0,size(audioIn,1)/fs,size(features,1));情节(t)特性(:,idx.pitch))标题(“节”)包含(“时间(s)”) ylabel (“频率(赫兹)”）

图中包含一个轴对象。标题为Pitch的axes对象包含一个类型为line的对象。

绘制随时间变化的过零率。

情节(t)特性(:,idx.zerocrossrate))标题(“零点交叉率”)包含(“时间(s)”）

图中包含一个轴对象。标题为“过零速率”的axis对象包含一个类型为line的对象。

画出短期能量随时间的变化。

情节(t)特性(:,idx.shortTimeEnergy))标题(“短时能量”)包含(“时间(s)”）

图中包含一个轴对象。标题为Short-Time Energy的axis对象包含一个类型为line的对象。

打开实时脚本

创建音频数据存储，指向音频工具箱®中包含的音频样本。

文件夹= fullfile(matlabroot，“工具箱”，“音频”，“样本”）;ads = audioDatastore(文件夹);

找到所有符合44.1 kHz采样率的文件，然后子集数据存储。

keepFile = cellfun(@(x)包含(x，“44 p1”), ads.Files);ads =子集(广告，keepFile);

将数据转换为a高数组中。高数组只有在显式地使用收集．MATLAB®通过最小化通过数据的次数自动优化队列计算。如果您有并行计算工具箱™，您可以将计算分散到多个工作人员。音频数据表示为米-by-1高单元格数组，其中米音频数据存储中的文件数。

adsTall =高(广告)
使用“本地”配置文件启动并行池(parpool)…连接到平行池(工人数量:6)。adsTall = M×1高细胞数组{539648×1双}{227497×1双}{8000×1双}{685056×1双}{882688×2双}{1115760×2双}{505200×2双}{3195904×2双}::::

创建一个audioFeatureExtractor对象从每个音频文件中提取mel谱、Bark谱、ERB谱和线性谱。使用默认的分析窗口和重叠长度进行频谱提取。

aFE = audioFeatureExtractor(SampleRate= 44.11 e3，.．.melSpectrum = true,.．.barkSpectrum = true,.．.erbSpectrum = true,.．.linearSpectrum = true);

定义一个cellfun函数，以便从tall数组的每个单元格中提取音频特征。调用收集计算tall数组。

specsTall = cellfun(@(x)extract(aFE,x)，adsTall,UniformOutput=false);specs = gather(specsTall);
使用并行池“本地”评估tall表达式:-通过1 / 1:在14秒内完成评估

的规格从gather返回的变量是numFiles-by-1单元格数组，其中numFiles数据存储中的文件数。单元格数组的每个元素都是anumHops——- - - - - -numFeatures——- - - - - -numChannels数组，其中跳数和通道数取决于音频文件的长度和通道数，特征数是音频数据请求的特征数。

numFiles = numel(specs)
numFiles = 12
[numHops1,numFeaturesFile1,numChanelsFile1] = size(specs{1})
numHops1 = 1053
numFeaturesFile1 = 620
numChanelsFile1 = 1
[numHops2,numFeaturesFile2,numChanelsFile2] = size(specs{2})
numHops2 = 443
numFeaturesFile2 = 620
numChanelsFile2 = 1

算法

的audioFeatureExtractor基于所选特性创建一个特性提取管道。为了减少计算量，audioFeatureExtractor重用中间表示，并将一些中间表示作为功能输出。

例如，要创建提取Bark谱的质心、Bark谱的通量、基音、谐波比和MFCC的delta-delta的对象，请指定audioFeatureExtractor如下。

aFE = audioFeatureExtractor(.．.SpectralDescriptorInput =“barkSpectrum”，.．.spectralCentroid = true,.．.spectralFlux = true,.．.= true,.．.harmonicRatio = true,.．.mfccDeltaDelta = true)
aFE = audioFeatureExtractor with properties: properties Window: [1024×1 double] OverlapLength: 512 SampleRate: 44100 FFTLength: [] SpectralDescriptorInput:'barkSpectrum'启用特征mfccDeltaDelta, spectralCentroid, spectralFlux, pitch, harmonicRatio禁用特征linearSpectrum, melSpectrum, barkSpectrum, erbSpectrum, mfcc, mfccDelta gtcc, gtccDelta, gtccDeltaDelta, spectralCrest, spectralreduce, spectralEntropy spectralFlatness, spectralKurtosis, spectralRolloffPoint, spectralSkewness, spectralSlope, spectralSpread提取一个特征，将相应的属性设置为true。例如，obj。mfcc＝真正的，adds mfcc to the list of enabled features.
该配置对应于突出显示的特征提取管道。

请注意

因为audioFeatureExtractor重用中介表示，从的特性输出audioFeatureExtractor可能与相应的单独特征提取器输出的特征的默认配置不一致。

扩展功能

版本历史

R2019b引入

全部展开

R2020b的行为发生了变化

另请参阅

||||