Bernhard Suhm, MathWorks
建立良好的机器学习模型是困难和耗时的,很少有工程师和科学家有必要的经验。自动机器学习(AutoML)将这一过程简化为几个步骤,只需一步就能识别出最佳模型并优化超参数,因此任何工程师都可以使用机器学习。我们还将演示MATLAB中可用的各种可解释方法,这些方法克服了机器学习的黑箱特性,降低了在无法容忍黑箱模型的行业中采用机器学习的门槛,包括金融和医疗应用。最后,我们解释了增量学习如何使模型随着时间的推移而改进,并适应不断变化的条件。
Bernhard Suhm是MathWorks的机器学习产品经理。他与客户和开发团队紧密合作,以解决我们的机器学习相关产品的客户需求和市场趋势,主要是统计和机器学习工具箱。s manbetx 845在加入MathWorks之前,Bernhard曾在卡耐基梅隆大学和卡尔斯鲁厄大学(德国)攻读语音用户界面博士学位,并将分析学应用于呼叫中心客户服务的优化交付。
录制时间:2020年12月15日
你好。我的名字是Bernhard Suhm。而且我是Mathworks的统计和机器学习的产品经理。欢迎来到本网络研讨会,以如何利用自动规则和可口译能力降低均衡障碍。
人工智能在哪里遇到了应用障碍?这里有几个例子。人工智能模型不像传统方法那么容易解释。这家金融服务公司的数据科学团队开发了另一个基于神经网络的流动性模型,但无法向高层利益相关者解释它是如何工作的,这些人后来拒绝了他们的批准。
意外的偏见潜入模型。[??imodel?]使用用于确定信用限制的信用卡发卡者对女性卡用户展示了意外偏见。作为第三个例子,长期以来已经预期数据驱动的方法有助于改善保健的交付。该和类似的文章识别在该部分中采用的多个障碍。例如,害怕无法解释的致命错误,或者自动化被视为对现有工作的威胁。
今天我们将重点讨论解决这两个障碍——在没有大量迭代调优工作和使用AutoML的专业知识的情况下获得优化的模型。第二,克服对人工智能模型黑箱性质的反对。
我将用两个例子来说明这些挑战的解万博 尤文图斯决方案——人类活动识别;以及医学领域的心电图分类。虽然这次演讲的重点是作为人工智能的机器学习,但我将概述存在于深度学习的类似解决方案。万博 尤文图斯最后,我将讨论采用人工智能的其他一些障碍。
退一步来看,人工智能在许多行业中已经被广泛采用,这真的很令人惊讶。这里有一些来自我们用户的例子。宝马使用了各种传感器来预测汽车在哪里进入过度转向[听不清]。在制造方面,半导体公司ASML提高了硅晶圆上覆盖层的测量精度。Atlas Copco通过使用传感器数据更新数字孪生压缩机,以及其他许多例子,改善了数千台已部署压缩机的监控。
在我们深入讨论这个话题之前,让我们先澄清一下我们所说的人工智能是什么意思,因为在社区中有多种概念。从广义上讲,人工智能可以指任何能够让计算机或机器人执行通常与智能相关的任务的程序。然后,在80年代,机器学习出现了,它应用统计方法从数据中学习任务,而不需要明确的编程。
然后深度学习作为一种机器学习出现了,它使用了很多很多层的神经网络。今天的收养有什么限制?高德纳(Gartner)的一项研究对此进行了调查,采访了100多名高管。这就是他们得到的。
排在最前面的是不知道如何应用AI的员工的技能、可用的数据、范围和质量,以及对未知的恐惧,特别是不了解AI的好处和它的使用方式。这项研究和其他研究证实,成功采用人工智能的最大障碍是缺乏具备足够技能的员工、人工智能模型的黑箱特性以及可获得的标记数据。
今天的谈话将专注于前两个障碍 - 缺乏AI技能和黑箱性质。对这些障碍的有效解决万博 尤文图斯方案需要了解缺乏AI技能和更多透明度会影响建设和将AI模型集成到系统中的工作流程。
这张图显示了机器学习的工作流程。但深度学习也会以类似的方式受到影响,我们稍后会讨论一些细节。所以这些任务是众所周知的耗时和需要大量的专业知识。
在预处理之后,通常需要大多数数据科学家的数据来源于特征工程。为了获得良好的功能,经常需要域知识,特别是用于通信,雷达信号和文本处理。
接下来,您需要确定许多型号中哪一个适合您的问题。机器学习中有“没有免费午餐”。考虑到一个具体问题,甚至专家们也不能判断他们最好的模型。选择模型后,您需要调整其Quand参数才能获得良好的性能。
随着您的进步部署,您可能会意识到您的模型的大小太大。因此,您可能需要返回并选择性能功能的子集。最后,将您的模型集成在更大的系统中可能要求您向不熟悉AI工作的利益相关者解释模型行为。
如果您申请深度学习而不是机器学习,您将基本上面临着类似的挑战。您仍然必须调整和高级网络。而不是优化模型,您必须在不同的网络架构之间进行选择。尽管深度学习未知不需要特征,但至少用于信号和文本应用,某种形式的数据减少对于良好的性能至关重要。
我们将在两个应用程序的背景下演示我们的解决方万博 尤文图斯案,并从数字健康开始——根据心电数据对心脏状况进行分类的任务。心电图信号的典型特征是所谓的QRS波。这是心脏信号的一个大尖峰。这个信号导致心肌强烈收缩,将富含氧气的血液推向所有的动脉。这需要大量的能量。
这里的其他方式与将缺氧血液转移到肺部有关。但专家们关注的是这些大的R峰之间的距离,即所谓的R-R间隔。这就是您需要记住的,以便能够遵循我们将要设计的特性类型。
所以我们首先解决降低技能需要构建人工智能模型构建模型交互,就像这里所谓的分类学习者应用程序,让你可以比较不同的性能畅销车型在点击一个按钮,使用不同的指标评估的准确性,然后甚至交互式地调整超参数。
但我们不讨论它,让我们在MATLAB中看看。让我们更详细地讨论我们可以为这个任务使用什么样的特性。当然,你们没有医学知识,但我提到过这些R峰之间的距离很重要,R-R区间。
我们来看三个连续的间隔。我不仅要看它们发生得有多快,还要看它们的比率,1 / 2和3 / 2的比率。我不会告诉你们如何计算这些特征。相反,我们将预先计算它们加载到工作区中。但是你可以在这里,RR0 RR1 RR2,然后是比值。
接下来,我们将在分类学习器中交互式地构建几个模型。你可以在应用程序选项卡上找到它。在加载数据之后,我已经构建了两个模型——查找决策树和逻辑回归,这是解决两个类问题的良好基础模型。但是你看,精确度要低得多。
支持向量万博1manbetx机也没高多少。让我们试试另一个模型,比如中树。表现明显更好。最后,让我们尝试一个树或随机森林的样本。
这种方法似乎效果最好。这是我们以后要进一步分析的。为了做好准备,我将把它作为一个变量导出到工作区中。这应该可以让您了解构建几个模型并比较它们的性能是多么容易。
但是AutoML添加了什么呢?这是我们的工作流程,所有这些复杂的,你刚刚品尝了一些。嗯,AutoML的思想,至少在理论上,是消除所有这些复杂性,理想情况下直接从分类问题中预处理的数据到一个经过优化并准备部署到系统中的模型。目前市场上没有一种AutoML解决方案能够接近这个雄心勃勃的目标。
然而,在MathWorks,我们已经为工程应用开发了AutoML的一个版本。这是我们的工作流程。作为解决特征工程问题的第一步,我们依靠小波的经验。他们非常擅长匹配现实世界信号中的峰值和不规则点。您可能不太了解小波,但这并不妨碍您应用这些技术。
其次,由于通常会生成数百个小波特征——对于小型模型来说太多了——您需要选择性能特征的子集。MATLAB支持多种特征自动选择方法。万博1manbetx最后,关键是内置超参数优化的模型选择。我们有一个单一的步骤功能来实现这些目标,并提供一个优化的模型。
让我们更详细地看看这三个步骤。首先,利用小波散射生成特征。你可能想知道什么是小波。它们帮助我们把信号分解成更小的部分。如果你知道傅里叶分析,它把信号组成窦成分。类似地,小波将信号分解成小波分量。
然而,小波在时间上非常有限,而且它们的宽度可以变化。所以它们非常适合匹配信号中微小的不规则,就像动画中提到的那样。
然后,小波散射将一个复信号分解成不同的小波分量。这样做的好处是你不需要弄清楚是哪种小波。这是自动为你完成的。
然后这些特征也会被计算出来。有些人将其与深层网络的最初做法进行了比较。它们将图像分解成不同的组成部分。小波散射的优势在于,与深度网络不同,您不需要数百万个数据示例。这对信号和图像数据都适用。
下一步,在AutoML语音特征选择中,有许多方法可用。在这里,我只强调一些。NCA在分类回归中工作得很好。不过,最近我们又添加了MRMR,即特征的最小冗余和最大相关性,它计算速度非常快,是模型独立的,并提供了一组强大的特征。如果你有一个高维特征空间,并正在寻找快速计算,这两个单变量方法,我们最近添加的可能会帮助你。
第三,让我们更好地理解带超参数调优的同时模型优化。在接下来的动画中,您可以看到对不同模型类型的优化。在幕后,也有许多不同类型的参数组成,所以错误率在这里显示的蓝色随时间减少并收敛到最小。
为了使这个过程更有效,我们使用了与我们在过去版本中应用于超参数调优相同的贝叶斯优化技术。这使我们能够有效地转移这个大空间的模型和超参数组件,并限制计算时间。然而,说实话,它在计算上仍然很昂贵。因此,您需要在更大的数据集上实现并行化。AutoML函数支持并行计算。万博1manbetx
我们将在人类活动识别任务上演示AutoML,从你手机的加速度计获取传感器数据,然后分类你正在进行的活动类型——走路,站立,躺着。首先,我们将加载这些原始数据并将其可视化,我们称之为堆栈图,这样你就可以从X, Y和Z看到加速度计。
这里我选择了活动从走路变成坐着的部分。你可以看到明显的区别。所以你可能会想什么样的特征会捕捉到这种变化。相反,我们在AutoML中应用小波散射作为第一步,你首先定义小波框架使用这个函数它只有信号长度和采样频率作为输入。
然后,对未缓冲的列车数据和原始测试数据进行小波散射。让我看看这里,它能计算近500个小波特征。所以对于一个小模型来说,这些太多了。
和步骤2,在Automl中,我们应用自动特征选择,以及FS MRMR功能,它代表了计算功能的最小冗余相关性。它将对那些超过500个功能进行排名,只会显示那些的前50个。这是排名。你了解得分如何快速下降,但是有一条长长的尾巴。
因此,为了得到一个更紧凑的模型,我们只选择前25个特征。然后,作为AutoML的第三步和中心步骤,我们应用模型选择和调谐函数fitcauto。让我们开始吧。
您可以确定各种参数。我们将迭代的数量限制为50.所以它很快就会完成。在这里,它开始评估了第一次耦合模型和超参数组合。您可以看到k-最近邻模型,SVM树,判别分析。在这里,您可以了解错误绘图如何开始达到较低的值。
你可能想知道这实际上有多工作吗?我们比较了Automl,因为您刚刚在MATLAB中观看了我的步骤,手动过程首先弄清楚使用哪些功能,然后尝试许多不同的模型并手动优化超级参数。
首先,我们看一下刚才演示的人类识别测试。我们还将其与心音分类相比较,也就是对心音录音进行录音,然后将其分为正常和不正常。这是结果。
AutoML匹配那些在机器学习方面有经验的人试图应用交易技巧并优化模型性能的模型的性能。AutoML的重点并不是它将击败手动优化过程,而是获得一个无需复杂和耗时的模型构建过程就能达到相当精度的模型,这是一个巨大的胜利。
让我们来看看采用人工智能的第二个障碍,即模型的黑箱特性。理想情况下,我们有可解释的、高度精确的可用模型。但这张图表显示了可解释性和预测能力之间的权衡。
有一些很容易解释的模型,比如决策树,逻辑回归,线性模型。但它们的性能不如更复杂的模型,如树、支持向量机和深度学习网络。因此,要克服这种黑箱性质,就需要可解释性。
但更具体地说,至少在某些行业,有监管要求,比如金融业。或者在欧洲,有GDPR。对于医疗设备,美国的食品和药物管理局有相关规定。
最后,数据科学家,为了改进模型,他们喜欢更详细地了解它们是如何工作的。所以,帮助他们恢复可解释性是有帮助的。我用了可解释性,更具体地说,是指传统机器学习中模型决策的因果关系。然而,我认为可解释人工智能主要用于深度神经网络的可视化激活。
让我们更好地理解法规要求可解释性的地方。我已经提到了金融业。在这方面,信用和市场风险模型确实需要解释清楚。原因之一是用于这些用例的传统模型非常容易解释。这正是包括高级管理层和监管机构在内的利益相关者所期待的。
有一些典型的复杂模型,在金融领域非常流行,有树的梯度,还有一些深度神经网络。作为可解释性的方法,Shapely非常流行。过几分钟你就会明白为什么。
相比之下,在汽车和航空行业,你需要满足安全认证要求。采用深度神经网络进行图像识别和强化学习,绘制路径。实际规则尚未最终确定,但MathWorks在此类安全关键应用方面有着丰富的经验,这些应用适用于ISO 262626或飞行规则(例如DO-178)的车辆。这里提到的这两个机构目前正在为人工智能发布类似的指导。MathWorks也参与了其中一些对话。
作为第三产业,至少某些类别的医疗器械需要获得医疗监管部门的批准。深度神经网络也用于图像分析,但也用于经典的机器学习。这里的地貌还没有完全进化。
如果您在不同的行业工作,具有特定的可诠释性要求,我们很乐意收到您的来信。我在这里提到了几种流行的解释性方法。让我帮助您了解可用的可解释性方法以及使用时。
所以在这个过程的开始时,你可能会问自己这个问题,可说明的方法是否为我的问题提供足够的准确性?然后,您可以只使用那些中可用的固有解释,例如,线性模型和Gams的权重,或者是贝叶斯模型的分支和决策树和后索。
如果那些简单的模型不够准确,则需要查看更复杂的模型。但是,下一个问题是,我需要解释当地的行为吗?如果是这种情况,则有石灰可用和匀称。
区分是你是否需要完整的解释。并且只屈服地提供了完全解释所有因素的贡献。这就是财务监管所要求的。这就是为什么福芙在那个行业中很受欢迎。但是,如果您正在寻找全局解释,则特征重要性和部分依赖性地块是使用的方法。
LIME是Local Interpretable Model-Agnostic Explanation的缩写。真拗口。但本质上,这是一个相当简单的方法。我们近似一个复杂的模型,如图所示,在这个复杂的决策边界上有蓝点和绿点。
我们不是在所有地方近似,而是在这里用黄色表示的兴趣点附近。为了做到这一点,你在那附近选择一些两个类的标记点,然后用它们建立一个简单的模型,就像这个例子中的线性模型。然后你可以利用这个简单模型的固有消耗性来提供一个复杂模型的近似。所以在这个例子中,这些不同因素的权重可以解释附近的复杂行为。
让我们来看看另一个演示而不是更多地谈论它。我们将从ECG分类中返回我们的第一个例子。由于要应用模型可解释性,您需要期望您的模型应该如何表现,从应用程序域中绘制知识或数据。相比之下,难以从人类活动识别示例中自动生成的小波特征导出这样的期望。
记住,在我们训练几个模型之前其中,有一个中等决策树。验证模型的一种方法是利用其固有的消耗性。对于树来说,那是树枝。这里我们展示了这个模型的树形分支。
您可以看到,决策是根据这些RR值做出的。如果它们足够小,你向左,再向左,再向左。然后心脏就不正常了。这是有意义的。
如果这些间隔非常小,说明心脏跳动非常快。所以这可能是一个不好的迹象。但是,详细分析这些数据会很麻烦。让我们看看其他的解释方法——全球性的。
我们可以着眼于复杂袋装树或随机森林的特征重要性。这告诉我们哪些是重要的特征。我们把它画出来。你可以看到这些RR比率,再一次,是最有意义的三个。
然后我们有这些幅度。我们将在一点点看那个,然后是比率。所以要查看全球的一种方法是部分依赖性地块。让我们这样做,这是其中一个RR比率。
正如您在此图中看到的那样,0.05后,心脏异常的可能性会急剧下降。那么这意味着,如果这些尖峰真的紧密,那么心脏就会变得非常快。它可能是异常的。否则,没关系。
然后我们看到其他的RR值也有类似的情况。现在,我们来看看比率。这里,我们画出这些比值的部分相关图。如果我们看比值,1附近的比值,就像这里,意味着后续的R尖峰有相同的距离。这意味着正常。
但如果它们之间的距离不一样,比如这些高值,那很可能是心律不齐。这是一个不好的迹象。这就是概率上升的原因。
在了解了一些全局可解释性方法之后,让我们看看一些局部方法。你看一个特别感兴趣的点。应用这种方法的一个例子是了解模型何时出错,发生了什么。
让我们来看看一些预测,找出模型出错的部分。我们将在这里找到错误的,然后开始准备应用LIME。然后在这里,我们将LIME对象与第二个错误预测相吻合。
我们在这里看到了什么?这里,我们看到了那个点的LIME模型。我们看到,在RR比率在预测中发挥重要作用之前。这很有道理,没什么好惊讶的。那么,为什么会出现问题呢?
嗯,我们看到RR1和RR2的值仍然具有相当高的重量,均为高于0.05。所以他们在正常心灵的范围内。这就是为什么在这个地方模型预测正常心脏状况,即使它实际上是异常的。因此,这里是如何使用本地模型解释性的示例,以便在模型在预测中发出错误时要理解。
既然你有一个非常好的了解机器学习可用的可解释性,让我们看看深度学习。在那里,它主要是意味着解释为什么深网络做出某些决定。
这是一个例子。这个杯子的图像被错误分类为扣。所以现在你可以看待解释性。图像的深度网络看起来的哪些部分是专注于扣环而不是在杯子上?因此,为您提供了一个暗示您的培训数据中的偏见。
解决这个问题的一种方法是增加没有手和扣环的杯子的训练例子。有很多方法可以做类似的分析,包括遮挡敏感性、GradCam和Image LIME。
所以我花了很少的时间来谈论采用AI的两个挑战 - 缺乏AI技能和模型的黑箱性质。通过谈论其他一些挑战,让我在今天的网络研讨会上。
如果你还记得,模型构建工作流,它是从预处理数据开始的。对于数字数据的感觉,MATLAB提供了交互式工具来处理原始数据的常见问题,如填充缺失数据,识别异常值,平滑数据。所以我们有实时任务可以交互地完成这些任务。
在接下来的工作流程中,对于监督学习来说,拥有足够数量的劳动数据是一个巨大的挑战。专门的标签工具可以提供帮助,特别是如果它们提供了一个选项,可以通过应用初始人工智能模型来获得粗略的标签,从而使人类注释者只需要审查和偶尔纠正这些草稿标签,从而实现一些标签的自动化。比如信号图像和视频标签应用程序,这些应用程序在信号和图像处理工具箱中可用。
一旦您训练了一个性能模型,您可能需要将它与更大的系统集成。许多行业都使用Simulink和基于模型的设计等仿真环境来促进万博1manbetx系统集成和测试。最后,一旦部署了模型,就必须监视它的性能,可能至少需要偶尔更新它。我们支持一些机万博1manbetx器学习模型和模型更新的增量学习,它们部署模型而不重新生成代码。
让我对最后一点再做一点扩展。一旦您有了一个可以部署的性能初始化模型,自动代码生成就可以将高级的MATLAB转换为低级的CC++代码,然后可以在您的硬件上执行并嵌入到更大的系统中。一旦系统被部署,你通常会收集数据,你可以使用它来改进你的模型,或者应用增量学习,或者在MATLAB中重新训练整个模型。
现在是关键点。当您移动模型时,更新到生产系统。您希望避免必须更新已部署的代码,以便在又一遍常常通过认证程序。相反,您只需通过空中的通信机制将更新的型号参数传递到部署的系统中。此工作流的不同用例是在具有不同模型配置的复杂系统的循环测试中执行软件和硬件。
总之,今天,我展示了MATLAB如何降低采用人工智能的障碍,特别是机器学习。我已经花了相当多的时间讨论如何以交互方式或通过领导AutoML来轻松地构建模型,这样没有专业知识的工程师和领域专家就可以自己构建模型,或者即使是有经验的实践者也可以更高效地构建模型。
我刚刚谈到了代码生成,它促进了与Simulink的嵌入式部署和集成,而新的本机机器学习块库使其变得更容易。万博1manbetx类似地,对于深度学习,有模块可以在Simulink模型中集成这些模块。万博1manbetx
如果您想了解有关我所讨厌的内容,分类学习者的更多信息,作为一个交互式工具的示例,可以更轻松地构建模型,或者在Automl上的视频,其中包含三个简单的步骤,您可以获得优化的型号以及散步如何应用不同的模型解释性方法。回到基础知识,我们还有一个两小时的ondamp,可以帮助您熟悉Matlab中的机器学习,并链接到我在本演示文稿中提到的演示。
我的大部分演讲都提到了机器学习,但类似的工具也可以用于深度学习。要了解更多信息,请参考以下资源:介绍视频和交互式深度网络设计器应用程序,举例说明各种可视化技术来解释深度神经网络的行为,使用用于深度学习的实验管理器自动调优超参数,以及两个小时的深度学习Onramp。
你可以在mathworks.com上找到这些资源。例如,从一个用于机器和深度学习的页面解决方案开始。URL显示在这里。你还可以要求免费试用统计、机器学习工具箱和深度学习工具箱,这取决于你使用的是哪种类型的人工智能模型。这次网络研讨会到此结束。非常感谢您的关注。
你也可以从以下列表中选择一个网站:
选择中国网站(中文或英文)以获得最佳网站性能。其他MathWorks国家站点没有针对您所在位置的访问进行优化。