德克萨斯大学奥斯汀分校的研究人员使用小波和深度学习将大脑信号转换为单词和短语

该项目的目标是将大脑信号与想象或说出的短语相对应。德克萨斯大学奥斯汀分校的团队，包括神经科学家、戴尔儿童医疗中心MEG实验室的研究主任保罗·法拉利博士，希望使用MEG神经成像方式来捕捉大脑信号，因为MEG比脑电图有更高的空间分辨率，比功能性磁共振成像(fMRI)有更高的时间分辨率。为了提高MEG信号的整体质量，他们需要在保留整体信号特征的同时去除噪声。除了对来自1000多个测试试验的数百个信号进行预处理和去噪外，该团队还需要对这些信号进行分析和可视化。

由于研究人员正在处理一种新的数据，他们需要一种工具，使他们能够快速评估各种方法，包括深度学习。

德克萨斯大学奥斯汀分校的研究人员使用MATLAB从MEG信号中推导出完整的短语，这是开发脑机接口的第一步，该接口将使ALS患者能够进行交流。

使用小波工具箱™，他们使用小波多分辨率分析技术将MEG信号去噪并分解到特定的神经振荡波段(高伽马，伽马，α， β， θ和δ脑电波)。

然后，研究人员从去噪和分解的信号中提取特征。他们使用统计和机器学习工具箱™来计算各种统计特征，包括平均值、中位数、标准差、四分位数和均方根。他们使用提取的特征来训练支持向量机(SVM)分类器和浅人工神经网络(ANN)分类器，通过万博1manbetx对五个短语对应的神经信号进行分类，获得精度基线。

为了在时频域中获得和表示丰富的MEG信号特征，他们使用MEG信号的小波标量图作为卷积神经网络的输入。(小波尺度图捕捉到信号中的光谱成分是如何随时间变化的。)该团队定制了三个预先训练好的深度卷积神经网络——alexnet、ResNet和inception -ResNet，用于语音解码MEG信号。在多个受试者中，这些方法都产生了较高的整体准确性。为了加快训练速度，团队使用并行计算工具箱™在7 gpu并行计算服务器上进行了训练。

德克萨斯大学奥斯汀分校的研究人员已经发表了他们的发现，现在正在进行下一步的研究:将分类短语的数量从5个扩展到数百个，在音素层面解码语音，并将MEG信号直接转换为合成语音。

• 分类准确率达到96%。“我们尝试的SVM和ANN方法的分类准确率约为80%，但当我们将小波和深度学习结合起来时，我们看到分类准确率提高到96%以上，”德克萨斯大学奥斯汀分校通信科学与障碍和神经病学副教授、语言障碍和技术实验室主任王军博士说。
• 小波技术和深度学习网络迅速结合。“使用MATLAB，我们只花了几分钟就实现了深度学习网络的标量图，”Dash说。“当然，培训和解释结果需要额外的时间，但例如，我在几分钟内就完成了AlexNet的实现，这比我使用其他编程语言所需的时间要短得多。”
• 训练时间加快了10倍。Dash说:“为了从单个工作人员的培训切换到跨多个gpu的培训，我们只需要更改一行MATLAB代码。”“通过并行计算工具箱和带有7个gpu的服务器，这个小小的变化使我们能够以大约10倍的速度训练网络。”