基于深度学习的语音指令识别

此示例使用：

打开脚本

此示例演示如何训练一个深度学习模型，该模型检测音频中是否存在语音命令。该示例使用语音命令数据集[1]训练卷积神经网络以识别给定的命令集。

要从头开始训练网络，必须先下载数据集。如果不想下载数据集或训练网络，则可以加载本示例提供的预训练网络，并执行示例的下两部分：通过预先训练的网络识别命令和使用麦克风中的流音频检测命令．

通过预先训练的网络识别命令

在进入详细的训练过程之前，您将使用预先训练过的语音识别网络来识别语音命令。

加载预先训练的网络。

装载(“commandNet.mat”）

对网络进行培训，以识别以下语音命令：

  • “是的”

  • “没有”

  • “向上”

  • “向下”

  • “左”

  • “对”

  • “关于”

  • “关”

  • “停下来”

  • “走”

在有人说“停止”的地方加载一个简短的语音信号。

[x，fs]=音频读取(“stop_command.flac”）;

听指挥。

声音(x, fs)

预先训练的网络以基于听觉的谱图作为输入。首先将语音波形转换为基于听觉的声谱图。

使用函数extractAuditoryFeature来计算听觉频谱图。您将在本例后面部分详细介绍特征提取。

auditorySpect=helperExtractAuditoryFeatures（x，fs）；

根据命令的听觉频谱图对命令进行分类。

命令=分类(trainedNet auditorySpect)
命令=分类停止

训练网络将不属于该集合的单词分类为“未知”。

现在您将对命令列表中没有包含的单词(“play”)进行分类以识别。

加载语音信号并收听。

x=音频读取(“play_command.flac”); 声音（x，fs）

计算听觉谱图。

auditorySpect=helperExtractAuditoryFeatures（x，fs）；

对信号进行分类。

命令=分类(trainedNet auditorySpect)
命令=分类未知

训练网络将背景噪声分类为“背景”。

创建由随机噪声组成的1秒信号。

X = 0.01 * randn(16e3,1);

计算听觉谱图。

auditorySpect=helperExtractAuditoryFeatures（x，fs）；

对背景噪声进行分类。

命令=分类(trainedNet auditorySpect)
命令=分类背景

使用麦克风中的流音频检测命令

在麦克风的流音频上测试预先训练的命令检测网络。例如，试着说出其中一条命令，对，不或停止．然后，试着说出其中一个不认识的单词，比如马文，希拉，床上，房屋，猫，鸟，或者从0到9的任何数字。

以Hz为单位指定分类率，并创建可以从麦克风读取音频的音频设备读取器。

classificationRate = 20;adr = audioDeviceReader (“采样器”fs,“SamplesPerFrame”，楼（fs/分级率）；

初始化音频缓冲区。提取网络的分类标签。为流式音频的标签和分类概率初始化半秒的缓冲区。使用这些缓冲区比较较长时间内的分类结果，并在检测到命令时通过构建“一致性”。指定决策逻辑的阈值。

audioBuffer=dsp.AsyncBuffer（fs）；标签=trainedNet.Layers（end）.Class；YBuffer（1:classificationRate/2）=分类(“背景”)；probBuffer=0（[numel（标签），classificationRate/2]）；countThreshold=ceil（classificationRate*0.2）；probThreshold=0.7；

只要创建的图形存在，就创建一个图形并检测命令。要无限期地运行循环，请设置时限到Inf．要停止活检测，只需关闭图形。

h =图(“单位”，“归一化”，“位置”,[0.2 0.1 0.6 0.8]); 时限=20；抽搐；虽然ishandle（h）和&toc<时限%从音频设备中提取音频样本并将样本添加到%缓冲区。x=adr（）；write（audioBuffer，x）；y=read（audioBuffer，fs，fs adr.SamplesPerFrame）；spec=helperExtractAuditoryFeatures（y，fs）；%对当前光谱图进行分类，将标签保存到标签缓冲区，%并将预测的概率保存到概率缓冲区。[Y预测，问题]=分类（培训网，规范，“ExecutionEnvironment”，“cpu”）;YBuffer = [YBuffer(2:结束),YPredicted);probBuffer = [probBuffer(:, 2:结束)、聚合氯化铝(:));%绘制电流波形和频谱图。子地块（2,1,1）绘图（y）轴牢固的Ylim ([-1,1]) subplot(2,1,2) pcolor(spec') caxis([-4 2.6445])底纹平的现在通过执行一个非常简单的命令来进行实际的命令检测%阈值操作。声明检测并在%图标题（如果以下所有条件均成立）：1）最常见的标签%不是背景。2）至少是最新帧的countThreshold%标签一致。3)预测标签的最大概率为at%最小阈值。否则，不要声明检测。[YMode，count]=mode（YBuffer）；maxProb=max（probBuffer（labels==YMode，：）；子批（2,1,1）如果YMode = =“背景”||计数" "）其他的标题（字符串（YMode），“字体大小”,20)结束drawnow结束

加载语音命令数据集

下载并提取数据集[1]。

网址='https://storage.googleapis.com/download.tensorflow.org/data/speech_commands_v0.01.tar.gz'；downloadFolder = tempdir;datasetFolder = fullfile (downloadFolder,“谷歌演讲”）;如果~exist（datasetFolder，“dir”) disp ('正在下载语音命令数据集（1.5 GB）…')untar（url，数据集文件夹）结束

创建一个audioDatastore这指向数据集。

广告= audioDatastore (datasetFolder,...“包含子文件夹”符合事实的...“文件扩展名”，“.wav”，...“标签源”，“foldernames”）
ads=具有属性的音频数据存储：文件：{'.\Local\Temp\google\u speech\\u background\u noise\u doing\u displays.wav'.'.\AppData\Local\Temp\google\u speech\\u background\u noise\dude\u miaowing.wav'.\AppData\Local\Temp\google\u speech\\u background\u noise\u exerce\u bike\u bike.wav'.'和64724多个文件夹：{'C:\Users\bhemmat\AppData\Local\Temp\google\u speech'}标签：[[u background\u noise\uuu；[u background\u noise\uu noise\uu和64724更分类]可选的系统根：{}输出数据类型：'double'支持的输出格式：[“wav”“flac”“ogg”“mp4”“m4a”]默认输出格式：“wav”万博1manbetx

选择要识别的单词

指定希望模型识别为命令的单词。将所有非命令的单词标记为命令未知的.将非命令的单词标记为未知的创建一组单词，它近似于除命令之外的所有单词的分布。网络使用这个组来学习命令和所有其他单词之间的区别。

为了减少已知和未知单词之间的类不平衡，加快处理速度，在训练集中只包含一部分未知单词。不要在训练集中包含带有背景噪声的较长的文件。背景噪声将在稍后的单独步骤中添加。

使用子集创建只包含命令和未知单词子集的数据存储。计算属于每个类别的例子的数量。

命令=分类([“是的”，“没有”，“向上”，“向下”，“左”，“对”，“关于”，“关”，“停下来”，“走”]);isCommand = ismember (ads.Labels、命令);isUnknown = ~ ismember(广告。标签,[命令,“背景噪音”]); IncludeAction=0.2；mask=rand（numel（ads.Labels），1）“未知”）;adsSubset =子集(广告,isCommand | isUnknown);countEachLabel (adsSubset)
ans = 11×2 table Label Count _______ _____向下2359 go 2372 left 2353 no 2375 off 2357 on 2367 right 2367 stop 2380 unknown 8186 up 2375 yes 2377

将数据拆分为培训、验证和测试集

“数据集”文件夹包含文本文件，其中列出了要用作验证集和测试集的音频文件。这些预定义的验证集和测试集不包含同一个人对同一单词的讲话，因此使用这些预定义集比选择整个数据集的随机子集更好。

因为本示例训练的是单个网络，所以它只使用验证集而不是测试集来评估训练的模型。如果您训练了许多网络，并选择验证精度最高的网络作为最终网络，那么您可以使用测试集来评估最终网络。

读取验证文件列表。

c=导入数据（完整文件（数据集文件夹，“validation_list.txt”)); filesvalization=string（c）；

阅读测试文件列表。

c=导入数据（完整文件（数据集文件夹，“testing_list.txt”));filesTest =字符串(c);

确定数据存储中的哪些文件应转到验证集，哪些文件应转到测试集。

files=adsSubset.files；sf=拆分（文件、文件步骤）；isValidation=ismember（sf（：，end-1）+"/"+科幻(:,结束),filesValidation);isTest = ismember(sf(:，end-1)) +"/"+科幻(:,结束),filesTest);adsValidation =子集(adsSubset isValidation);adsTrain =子集(adsSubset，~isValidation & ~isTest);

要用整个数据集训练网络，并达到尽可能高的精度，集合还原酶到假．要快速运行此示例，请设置还原酶到符合事实的．

reducedastatset=false；如果reduceDataset numUniqueLabels = nummel (unique(adsTrain.Labels));%将数据集减少20倍adsTrain = splitEachLabel(adsTrain,round(numel(adsTrain. files) / numUniqueLabels / 20));adsValidation = splitEachLabel(adsValidation,round(numel(adsValidation. files) / numUniqueLabels / 20));结束

计算听觉频谱图

为了准备有效训练卷积神经网络的数据，将语音波形转换为基于听觉的谱图。

定义特征提取的参数。segmentDuration是每个语音片段的持续时间（以秒为单位）。帧持续时间是用于频谱计算的每个帧的持续时间。啤酒花持续时间是每个光谱之间的时间步长。numBands为听觉声谱图中过滤器的数量。

创建一个audioFeatureExtractor对象进行特征提取。

fs=16e3；%数据集的已知采样率。segmentDuration = 1;frameDuration = 0.025;hopDuration = 0.010;segmentSamples =圆(segmentDuration * fs);frameSamples =圆(frameDuration * fs);hopSamples =圆(hopDuration * fs);overlapSamples = framessamples - hopSamples;FFTLength = 512;numBands = 50;afe = audioFeatureExtractor (...“采样器”fs,...“FFTLength”，fft长度，...“窗口”损害(frameSamples“周期”)，...“重叠长度”，重叠样本，...“barkSpectrum”，true）；setExtractorParams（afe，“barkSpectrum”，“NumBands”，麻木）；

从数据集读取文件。训练卷积神经网络需要输入大小一致。数据集中的一些文件长度小于1秒。在音频信号的前面和后面应用零填充，使其具有长度分段样本．

x=读取（adsTrain）；numSamples=大小（x，1）；numToPadFront=地板（（分段采样-numSamples）/2）；numToPadBack=天花板（（分段采样-numSamples）/2）；xPadded=[零（numToPadFront，1，“喜欢”，x）；x；零（numToPadBack，1，“喜欢”，x）]；

要提取音频功能，请调用摘录．输出是跨行带有时间的Bark谱。

特征=提取（afe，xPadded）；[numHops，numFeatures]=大小（特征）
numHops=98 numFeatures=50

的audioFeatureExtractor通过窗口功率对听觉频谱图进行标准化，以使测量独立于窗口类型和窗口长度。在本例中，通过应用对数对听觉频谱图进行后处理。记录较小的数字可能会导致舍入误差。为避免舍入误差，将反转窗口标准化。

确定要应用的非规范化因子。

unNorm=2/（总和（afe.窗口）^2）；

要加快处理速度，可以使用parfor．

首先，确定数据集的分区数。如果您没有并行计算工具箱™，请使用单个分区。

如果~ isempty(版本(“平行”))&&&~reducedasetpool=gcp；numPar=numpartitions（adsTrain，pool）；其他的numPar = 1;结束

对于每个分区，从数据存储中读取，将信号置零，然后提取特征。

parforii=1:numPar subds=partition（adsTrain，numPar，ii）；XTrain=zero（numHops，numBands，1，numel（subds.Files））；为idx=1:numel（subds.Files）x=read（subds）；xPadded=[zeros（floor（（segmentSamples size（x，1））/2），1）；x；zeros（ceil（（segmentSamples size（x，1））/2），1]；XTrain（：，：，：，idx）=extract（afe，xPadded）；结束XTrainC{ii}=XTrain；结束

将输出转换为四维阵列，并沿四维方向绘制听觉频谱图。

XTrain=cat（4，XTrainC{：}）；[numHops，numBands，numChannels，numSpec]=size（XTrain）
numHops=98 numBands=50 numChannels=1 numSpec=25041

根据窗户功率缩放特征，然后取日志。为了获得分布更平滑的数据，使用小偏移量对谱图取对数。

XTrain = XTrain / unNorm;epsil = 1 e-6;XTrain = log10(XTrain + epsil);

对验证集执行上述特征提取步骤。

如果~ isempty(版本(“平行”))pool=gcp；numPar=numpartitions（adsvalization，pool）；其他的numPar = 1;结束parforii = 1:numPar subds = partition(adsValidation,numPar,ii);XValidation = 0 (numHops numBands 1,元素个数(subds.Files));为idx = 1:numel(subds. files) x = read(subds);xPadded =[0(地板(segmentSamples-size (x, 1)) / 2), 1); x; 0(装天花板((segmentSamples-size (x, 1)) / 2), 1)];XValidation (:,:,:, idx) =提取(afe xPadded);结束XValidationC {2} = XValidation;结束XValidation=cat（4，XValidationC{：}）；XValidation=XValidation/unNorm；XValidation=log10（XValidation+epsil）；

隔离列车和验证标签。删除空类别。

YTrain = removecats (adsTrain.Labels);YValidation = removecats (adsValidation.Labels);

可视化数据

绘制一些训练样本的波形和听觉谱图。播放相应的音频片段。

specMin = min (XTrain [],“所有”）;specMax = max (XTrain [],“所有”）;idx = randperm(元素个数(adsTrain.Files), 3);图(“单位”，“归一化”，“位置”,[0.2 0.2 0.6 0.6]);为i=1:3[x，fs]=audioread（adsTrain.Files{idx（i）}）；子地块（2,3，i）绘制（x）轴牢固的标题(string (adsTrain.Labels (idx (i))))次要情节(2 3 i + 3) spect = (XTrain (:,: 1, idx(我)');cxis ([specMin specMax])阴影平的声音(x, fs)暂停(2)结束

添加背景噪声数据

网络必须不仅能够识别不同的口语词，而且能够检测输入是否包含静音或背景噪声。

使用中的音频文件_背景噪声_文件夹以创建一秒钟背景噪音片段的示例。从每个背景噪音文件创建相同数量的背景噪音片段。您也可以创建自己的背景噪音录制并将其添加到_背景噪声_文件夹。在计算频谱图之前，该函数使用从对数均匀分布中采样的系数重新缩放每个音频片段，采样范围如下所示：容积法．

adsBkg=子集（ads，ads.Labels==“背景噪音”)数量=4000；如果reducedastatset numBkgClips=numBkgClips/20；结束volumeRange = log10([1的军医,1]);numBkgFiles =元素个数(adsBkg.Files);numClipsPerFile = histcounts (1: numBkgClips, linspace (1 numBkgClips numBkgFiles + 1);Xbkg = 0(大小(XTrain, 1),大小(XTrain, 2), 1, numBkgClips,“单身”）;bkgAll = readall (adsBkg);印第安纳州= 1;为count=1:numBkgFiles bkg=bkgAll{count}；idxStart=randi（nummel（bkg）-fs，numClipsPerFile（count），1）；idxEnd=idxStart+fs-1；增益=10^（（volumeRange（2）-volumeRange（1））*rand（numClipsPerFile（count），1）+volumeRange（1））；为j=1:numClipsPerFile（count）x=bkg（idxStart（j）：idxEnd（j））*增益（j）；x=最大值（最小值（x，1），-1）；Xbkg（：，：，：，ind）=提取物（afe，x）；如果模（ind，1000）=0显示(“已处理”(印第安纳州)+ +字符串“背景剪辑来自”+字符串（多个片段））结束ind=ind+1；结束结束Xbkg=Xbkg/unNorm；Xbkg=log10（Xbkg+epsil）；
4000个背景剪辑中处理了1000个，4000个背景剪辑中处理了2000个，4000个背景剪辑中处理了3000个，4000个背景剪辑中处理了4000个

在训练集、验证集和测试集之间分割背景噪声谱图。因为_背景噪声_文件夹仅包含大约五分钟半的背景噪声，不同数据集中的背景样本高度相关。若要增加背景噪声的变化，可以创建自己的背景文件并将其添加到文件夹中。若要提高网络对噪声的鲁棒性，还可以尝试混合backgr将噪音输入语音文件。

numTrainBkg=地板（0.85*numBkgClips）；numValidationBkg=地板（0.15*numBkgClips）；XTrain（：，：，：，end+1:end+numTrainBkg）=Xbkg（：，：，：，：，1:numTrainBkg）；YTrain（end+1:end+numTrainBkg）=“背景”；XValidation(:,:,: + 1:终端+ numValidationBkg) = Xbkg (:,:,:, numTrainBkg + 1:结束);YValidation(+ 1:结束+ numValidationBkg) =“背景”；

绘制不同类别标签在训练和验证集中的分布。

图(“单位”，“归一化”，“位置”，[0.2 0.2 0.5 0.5]）子批次（2,1,1）直方图（YTrain）标题(“培训标签分配”)子批次（2,1,2）直方图（YValidation）标题(“验证标签分发”）

定义神经网络结构

创建一个简单的网络架构，作为一组层。使用卷积和批处理归一化层，并使用最大池化层在“空间上”(即在时间和频率上)对特征映射进行向下采样。添加一个最终的最大池化层，随着时间的推移将输入特征映射全局池化。这在输入谱图中强制了(近似)时间平移不变性，允许网络执行相同的分类，而不依赖于语音在时间上的确切位置。全局池还显著减少了最终完全连接层中的参数数量。为了减少网络记忆训练数据的特定特征的可能性，在最后一个完全连接层的输入中添加少量的dropout。

这个网络很小，因为它只有五个卷积层和几个过滤器。numF控制卷积层中过滤器的数量。要提高网络的准确性，请尝试通过添加相同的卷积、批量规范化和ReLU层块来增加网络深度。您还可以尝试通过增加卷积滤波器的数量来增加卷积滤波器的数量numF．

使用加权交叉熵分类损失。weightedClassificationLayer (classWeights)创建一个自定义分类层，计算交叉熵损失与观测加权类权重．按照类出现的顺序指定类权重类别(YTrain)。要使每个类在损失中的总权重相等，请使用与每个类中的训练示例数成反比的类权重。使用Adam优化器训练网络时，训练算法独立于类权重的整体标准化。

classWeights=1./countcats（YTrain）；classWeights=classWeights'/mean（classWeights）；numclass=numel（categories（YTrain））；timePoolSize=ceil（numHops/8）；dropoutProb=0.2；numF=12；layers=[imageInputLayer（[numHops numBands]）卷积2dlayer（3，numF，“填充”，“一样”maxPooling2dLayer(3，“步”2.“填充”，“一样”) convolution2dLayer (3 2 * numF“填充”，“一样”maxPooling2dLayer(3，“步”2.“填充”，“一样”)卷积2层（3,4*numF，“填充”，“一样”maxPooling2dLayer(3，“步”2.“填充”，“一样”)卷积2层（3,4*numF，“填充”，“一样”) batchNormalizationLayer reluLayer卷积2dlayer (3,4*numF，“填充”，“一样”) batchNormalizationLayer reluLayer maxPooling2dLayer([timePoolSize,1]) dropoutLayer(dropoutProb) fulllyconnectedlayer (numClasses) softmaxLayer weightedClassificationLayer(classWeights)];

列车网络的

指定训练选项。使用最小批量为128的Adam优化器。训练25个阶段，20个阶段后将学习率降低10倍。

miniBatchSize = 128;validationFrequency =地板(元素个数(YTrain) / miniBatchSize);选择= trainingOptions (“亚当”，...“InitialLearnRate”3的军医,...“MaxEpochs”,25,...“MiniBatchSize”，小批量，...“洗牌”，“每个时代”，...“阴谋”，“培训进度”，...“冗长”错误的...“验证数据”，{XValidation，YValidation}，...“验证频率”，验证频率，...“LearnRateSchedule”，“分段”，...“LearnRateDropFactor”, 0.1,...“LearnRateDropPeriod”, 20);

训练网络。如果你没有GPU，训练网络可能需要时间。

trainedNet=列车网络（XTrain、YTrain、图层、选项）；

评估培训网络

在训练集（无数据扩充）和验证集上计算网络的最终精度。网络在此数据集上非常精确。但是，训练、验证和测试数据都具有类似的分布，不一定反映真实环境。此限制尤其适用于未知的类别，其中只包含少量单词的语句。

如果reduceDataset负载(“commandNet.mat”，“训练网”）;结束YValPred =分类(trainedNet XValidation);validationError = mean(YValPred ~= YValidation);YTrainPred =分类(trainedNet XTrain);= mean(YTrainPred ~= YTrain);disp (“训练错误：”+列车错误*100+“%”) disp ("验证错误:"+验证错误*100+“%”）
培训误差:1.526%验证误差:5.1539%

绘制混淆矩阵。通过使用列和行摘要显示每个类的精度和召回率。对混淆矩阵的类进行排序。最大的混淆是在未知的单词和命令之间，向上的和关，下来和不和去和不．

图(“单位”，“归一化”，“位置”，[0.2 0.2 0.5 0.5]);厘米= confusionchart (YValidation YValPred);厘米。Title =“验证数据的混淆矩阵”；厘米。ColumnSummary =“column-normalized”；厘米。RowSummary =“行规范化”；sortClasses(厘米,[命令,“未知”，“背景”])

当对具有诸如移动应用的受限硬件资源的应用程序工作时，考虑可用内存和计算资源的限制。使用千兆字节计算网络的总大小，并在使用CPU时测试其预测速度。预测时间是对单个输入图像进行分类的时间。如果输入，如果将多个图像传输到网络，则可以同时对这些图像进行分类，从而缩短每个图像的预测时间。但是，在对流媒体音频进行分类时，单个图像的预测时间是最相关的。

信息=谁(“训练网”); disp(“网络大小：”+info.bytes/1024+“知识库”）为i=1:100 x=randn（[numHops，numBands]）；tic[yppredicted，probs]=分类（trainedNet，x，“ExecutionEnvironment”，“cpu”）;时间(i) = toc;结束disp (“CPU上的单映像预测时间：”+的意思是(时间(11:结束))* 1000 +“女士”）
网络大小:286.7314 kB CPU上的单张图像预测时间:3.1647 ms

参考文献

[1] Warden P.“语音命令：单词语音识别的公共数据集”，2017年。可从https://storage.googleapis.com/download.tensorflow.org/data/speech_commands_v0.01.tar.gz.Google 2017版权所有。语音命令数据集根据Creative Commons Attribute 4.0许可证获得许可，可从以下网址获得：https://creativecommons.org/licenses/by/4.0/legalcode．

参考文献

[1] Warden P.“语音命令：单词语音识别的公共数据集”，2017年。可从http://download.tensorflow.org/data/speech_commands_v0.01.tar.gz.Google 2017版权所有。语音命令数据集根据Creative Commons Attribute 4.0许可证获得许可，可从以下网址获得：https://creativecommons.org/licenses/by/4.0/legalcode．

另请参阅

||

相关话题

深度学习工具箱文档
万博1manbetx
用MATLAB引入深度学习

用MATLAB引入深度学习

下载电子书