在复杂物理过程中使用深度学习

发布的Johanna Pingel，2020年12月10日

18次观看(过去30天)|0喜欢|1评论

嘉宾博客作者:Peetak Mitra, Majid Haghshenas博士和David P. Schmidt教授

以下是2020年神经信息处理系统(NeurIPS)机器学习工程设计模拟研讨会上接受的论文。这项工作是ICEnet联盟的一部分，ICEnet联盟是一个行业资助的努力，旨在构建与内燃机建模相关的数据驱动工具。更多细节可以在icenetcfd.com上找到

近年来，人们对使用机器学习建模物理应用的兴趣激增。施密特教授在马萨诸塞大学阿默斯特分校的研究小组一直致力于将这些方法应用于湍流封闭、粗粒化、燃烧或为复杂物理过程构建廉价的研究模拟器。在本博客中，我们将介绍目前将主流机器学习算法应用于特定领域的应用所面临的挑战，并将展示我们如何在与流体湍流相关的闭包建模的科学应用中处理这一挑战。

当前的挑战

ML算法和设计网络和选择其中超参数的最佳实践已经开发用于计算机视觉、自然语言处理等应用。这些数据集的损失流形本质上与在科学数据集中观察到的损失流形有很大不同[参见图1的例子，使用两个变量的函数产生的损失，通过翻译和缩放高斯分布获得，这是科学和工程中的一种常见分布]。因此，很多时候这些来自文献的最佳实践在科学领域的应用转化得很差．这样做的一些主要挑战包括用于开发机器学习算法的数据与科学数据在基本方面存在差异;由于科学数据往往是高维、多模态、复杂、结构化和/或稀疏的[1]。目前SciML的创新步伐是由这些规范ML/DL技术的实证探索/实验所驱动和限制的。为了充分利用数据的复杂性并开发优化的ML模型，迫切需要自动化网络设计和选择最佳性能超参数的自动机器学习(AutoML)方法。在这项工作中，我们探索了基于贝叶斯的AutoML方法在复杂物理模拟器中的有效性，以构建健壮的神经网络模型。

图1所示。一个非凸损失流形，显示多个局部最优区域，使神经网络训练过程困难

我们的应用和提出的解决方案:我们感兴趣的科学应用是流体湍流，这是一种非线性的、非局部的、多尺度的现象(参见图2，模拟中的典型尺度范围)，是工程相关流动建模的重要组成部分，如内燃机(参见图2,ICE模拟中的典型尺度范围)。虽然使用直接数值模拟(DNS)求解完整的Navier Stokes可以最准确地表示复杂的现象，但DNS在计算上往往是棘手的。基于Reynolds平均Navier万博尤文图斯-Stokes (RANS)和大涡模拟(LES)的工程级解决方案通过解决较大的积分长度尺度和通过在Navier-Stokes方程中引入线性算子对较小的未解决尺度进行建模来降低模拟复杂性，从而缓解了这一问题。然而，这些模型都存在湍流关闭困难的问题。在这项研究中，我们展示了dnn学习LES闭包的能力，作为过滤变量的函数。

图2所示。该图显示了典型内燃机模拟湍流的多尺度性质。图采用自Dias Ribeiro et al. [1]

网络设计和优化:为了优化网络架构并确定该任务的最佳超参数设置，我们使用了基于贝叶斯优化的autoML框架，其中学习算法的泛化性能被建模为来自高斯过程(GP)的样本[供参考，图3列出了整个工作流程]。预期改进被用作获取函数，以确定下一步要调查的参数设置。优化了学习率、丢丢率、批处理大小和网络结构等对收敛有领先顺序影响的关键学习参数。下表显示了参数的范围和用于研究下一个参数的插值方案。在MATLAB中的代码实现如下所示。贝叶斯优化过程在每个参数集上依次运行。在每次优化运行中，训练网络，并在训练结束时评估验证数据的性能。

图3所示。研究中使用的端到端工作流。基于贝叶斯优化的autoML方法用于确定最佳性能的网络设置和架构，然后将其集成到OpenFOAM中，并与地面真实数据进行比较先天的而且无网格设置。

为了优化网络结构，采用了全连接层的一块网络和leakyRelu激活层。在每次运行期间，使用贝叶斯优化进一步优化网络的深度和宽度(每层神经元的数量)。

结果

我们发现ADAM gloriot和ADAM He组合在绝对误差方面表现最好，尽管ADAM gloriot配置的参数数量最多。RMPSProp的平均性能优于SGDM优化器。这可以解释为RMSProp是一种自适应学习率方法，能够导航局部最优区域，而SGDM在导航沟谷时表现不佳，并且在走向局部最优时进展缓慢。最佳模型的先验性能如图4所示。

图4所示。的先天的测试表明，数据驱动预测的性能，以地面真相涡旋粘度预测。

为了更好地理解学习过程，我们在每个epoch之后计算训练过程中权重检查点之间的余弦相似度。这项研究[如图5所示]揭示了每组权重初始化优化器设置在学习过程中的自相似性。然而，当比较不同的优化器集时，学习过程的差异是明显的。

图5所示。学习过程的演变可以通过每个epoch网络训练检查点的余弦相似度来可视化。

由于神经网络权重通常是多维的，为了使学习过程可视化，像t-SNE这样的降维技术在探索函数空间时很有用。从图6中可以清楚地看出初始化的效果，由于其数学公式的相似性，Glorot和He初始化具有重叠的函数空间行为。另一方面，窄法向仅限于探索有限的函数空间。优化器在函数空间探索方面表现出更广泛的多样性，如前所述，SGDM探索的是损失流形的有限集，而其他两个优化器探索的范围要大得多。

图6．权重初始化和优化器的函数空间相似性的低维表示揭示了重要的结论。

总之作为训练循环中的AutoML，它提供了一种途径，不仅可以构建适用于科学数据集应用的健壮神经网络，而且可以用于更好地理解网络训练演化过程。要了解更多关于我们的工作，请遵循预印本在这里，观看NeurIPS 2020 ML4Eng工作坊重点演讲在这里．

参考文献

[1]: Dias Ribeiro, Mateus, Alex Mendonça Bimbato, Maurício Araújo Zanardi, José Antônio Perrella Balestieri，和David P. Schmidt。“使用开源框架对直喷火花点火发动机内流动进行大涡模拟。”国际发动机研究杂志(2020):1468087420903622