大家好，欢迎来到简化机器学习。我叫Shashank Prasanna。我是MathWorks统计和机器学习产品的产品经理。s manbetx 845
这是今天剩下的演讲日程安排。我将从对什么是机器学习以及为什么你可能想要考虑它的高级概述开始。然后我们将看到机器学习中的一些关键挑战。
接下来，我将通过解决一个涉及真实世界数据的有趣问题来深入研究机器学习。为了解决这个问题，我将介绍一个通常用于解决机器学习问题的典型工作流。然后，我们将讨论另一个涉及图像数据的有趣示例。我将向你们展示一个现场演示，它使用网络摄像头的视频来识别物体。我们将以一个总结和一些关于何时考虑机器学习的指导来结束会议。
因为这是一个简单的主题，所以没有先决条件。熟悉MATLAB是有帮助的，但不是必需的。机器学习无处不在。在当今世界，这些技术越来越多地被用于做出重要的商业和生活决定。今天，通过机器学习，我们能够解决汽车、金融、计算机视觉和其他几个以前被认为不可能的领域的问题。
那么什么是机器学习呢?让我们花一分钟时间快速浏览一下机器学习的高级概念。即使你对这个话题很熟悉，这也可以作为一个快速的提醒，让你知道什么时候追求机器学习是有用的。
我们可以将机器学习定义为一种使用数据并生成程序来执行任务的技术。让我用一个例子来解释一下。考虑这样一个任务:使用来自移动电话的传感器数据来检测一个人的活动;例如，如果这个人走着、坐着、站着等等。解决这类任务的标准方法是，要么分析信号，用一组精心设计的规则编写程序，要么先验地知道一组方程或公式，使用输入并预测输出。
机器学习的方法就是直接从数据中学习这样一个程序。在这种情况下，我们为算法提供输入和输出数据，并让它学习程序来解决这个任务。这一步通常被称为训练。输出的是一个模型，现在可以用来检测新的传感器数据的活动。
请注意，我没有明确提到特定的机器学习算法，因为有很多算法可供选择，每种算法都有自己的优点和缺点。我们会在详细讲解这个例子时看到。如果我想让你们从这张幻灯片中学到两件事，那就是，第一，你需要数据。如果你没有数据，你就无法进行机器学习。这是一个强烈的要求。
第二，只有当任务很复杂，并且没有神奇的方程或公式来解决它时，才考虑机器学习。如果您有一个公式，您可以继续并实现它。机器学习可以工作，但在这种情况下不建议使用这种方法。
让我们去MATLAB看看机器学习的方法是什么样的。我们正在处理的数据由六个输入组成，三个来自加速度计，三个来自手机的陀螺仪。响应或输出是执行的活动。这些动作包括走路、站立、跑步、爬楼梯和躺下。
这是分类学习者。它是一个交互式工具，可以让你执行常见的机器学习任务，比如交互式地探索数据、选择特征、指定验证方案、训练模型和评估结果。在我的左边，我有几个不同的机器学习模型，它们已经在传感器数据上训练过了。在每个模型旁边是一个百分比数字，表示所选分类器在单独验证集上的准确性。我可以使用右边的可视化来探索我的数据，以搜索模式和趋势。
训练一个新模型很容易。我只需导航到Classifier库，选择一个感兴趣的分类器，然后点击Train。训练完成后，您可以在History List中看到新模型以及模型的性能精度。这个数字越高，模型在新数据上的表现就越好。我将选择性能最好的模型，并单击Export开始在MATLAB中使用我的模型，我可以看到导出的模型就在工作区中。
现在我想使用这个模型以及一些测试数据来可视化模型的预测结果。这张图显示了两秒半的流加速度计和陀螺仪数据。上面的绿色条显示了这个人的实际活动与这里的传感器信号相对应。如果模型能够成功预测这个人的实际活动，底部的栏是绿色的，如果它不能预测实际活动，则是红色的。你可以看到，这个模型经常分不清走路和爬楼梯。
让我们快速回顾一下我们刚刚取得的成果。我们使用分类学习器使用数据来拟合几个不同的模型。然后我们选择了一个显示出良好结果的，我们测试它，以确保它在做它应该做的事情。这看起来很简单，那么为什么机器学习有这么难的名声呢?
为了回答这个问题，我想引用一位著名统计学家的话，他曾经在一本教科书上写道:“所有的模型都是错误的，但有一些是有用的。”为什么?因为模型是近似值。不仅仅是机器学习模型——所有的模型都是基于几个假设的近似值，但这并不会让它们变得不那么有用。机器学习模型可以解释数据中的复杂模式，但要成功应用机器学习，你需要找到有用的模型，这可能是一项具有挑战性的任务。
实际上，在机器学习工作流程的每一步中都存在不止一个挑战，而是几个挑战。数据有各种各样的形状和大小。它可以是简单的数字数据，例如来自财务数据或传感器信号，也可以是来自相机或文本数据的流图像。现实世界的数据集通常是混乱的，并不总是表格。
预处理数据需要特定于领域的算法和工具。例如，信号或图像处理算法需要从信号和图像数据中提取有用的特征。特征选择和特征变换需要统计算法。我们经常需要来自多个领域的工具，当使用多个机器学习算法时，寻找最佳模型可能是一项艰巨而耗时的任务。
在它的核心，选择最好的机器学习模型是一个平衡的行为。高度灵活的模型可能是准确的，但也可能过度拟合你的数据，并在新数据上表现不佳。在另一个极端，简单的模型可能对数据假设过多。在模型的速度、准确性和复杂性之间总是有一个权衡。
最后，机器学习工作流从来不是一个方便的线性工作流。我们总是不断地反复，迭代，尝试不同的想法，然后才能找到一个解决方案。我今天的目标是:向你们介绍一套通用的工具和策略来应对这些挑战。
下面是我们在解决机器学习任务时喜欢遵循的一个简单的两步工作流。第一步是训练你的模型。我们首先引入数据，这些数据来自各种不同的来源，比如数据库、流设备等等。接下来，我们使用特征提取或其他统计工具对数据进行预处理。这一步对于将数据转换为机器学习算法可以使用的格式至关重要。
之后，我们准备从数据中学习。如果任务是预测标签或类别，我们选择分类方法。如果任务是预测连续值，那么我们选择回归方法，然后继续建立模型。当然，这是一个迭代过程，需要反复到预处理步骤，尝试不同的机器学习算法，调整不同的参数，等等。
这个工作流的第二步是实际使用模型，所以在左边，我有新的数据，在右边，我需要做出预测。那么从数据到预测我们需要什么呢?首先，我们需要使用新数据的所有预处理步骤，因此这里不涉及额外的工作。我们只是重复利用我们在训练阶段所付出的所有努力。
接下来，我们使用训练阶段的模型并进行预测。对于一些工程问题，第二步通常被部署或集成到生产环境中，例如，在服务器上使用机器学习执行自动化特征。现在让我们用这个工作流在MATLAB中演示一个例子。
本例的目标是训练分类器根据传感器测量自动识别人类活动。数据由六个输入组成，三个来自加速度计，三个来自陀螺仪。输出的响应是执行的活动:走、站、跑、爬楼梯和铺设。
我们将采取的方法如下。首先，我们将从传感器信号中提取基本特征。然后，我们将使用分类学习器来训练和比较几种不同的分类器，最后，在看不见的传感器数据上测试结果。
这就是MATLAB。我们将从这里的当前文件夹窗口开始。由于工作流的第一步是引入数据，所以我将在MAT文件中加载一些原始传感器数据。要导入这些数据，我所要做的就是将其拖放到工作区窗口中。工作区窗口可以帮助您跟踪MATLAB中的所有变量，无论它们是现有变量还是我们在运行过程中创建的新变量。
我的数据由七个变量组成。前六个是感官输入变量，三个用于陀螺仪，三个用于加速度计x、y和z。最后一个变量TrainActivity包含传感器测量的每个观察值的活动标签。注意，所有变量都有大约7000个观测值。让我们来看看单个的感官输入是什么样的。
如果我绘制x轴陀螺仪数据的单行，我们会看到它有大约128个点。这就是数据的含义。传感器数据通常收集并固定在窗框上。每一行有128个读数，对应两个半秒的传感器数据。
现在，这些数据并不是可以用于机器学习的形式。我必须首先处理所有这些输入，为这128个点或2.5秒的窗口提取特征，我必须对所有六个传感器输入都这样做。但在开始特征提取之前，我们先来看看原始传感器数据是什么样子的。
我在这里有一个自定义的图，显示了三个加速度计原始传感器数据，它们有不同的颜色对应于人正在进行的活动。MATLAB中的图是相当交互式的。我可以放大看看是否有任何视觉模式或者趋势可以帮助我们识别这个人的活动。
粗略地看一下，我们可以看到每种颜色的传感器值看起来是不同的。例如，这里的橙色值，对应的是爬楼梯，与紫色值，对应的是站立。然而，与此同时，很难从视觉上区分行走和攀登，因为两者都涉及大量的运动。像这样的问题是机器学习很好的候选者，因为我们并不总是很明显地可以为每一个活动定义规则。
在我们开始特征提取步骤之前，我将从这六个传感器输入创建一个表。表是保存混合类型数据的优秀工具，这在机器学习中很常见。在这个例子中，我们有传感器测量值，它是数值，标签是分类值。
现在，我的工作空间中有一个表变量，其中包括所有六个单独的传感器变量。使用表格进行机器学习的另一个优点是，我可以用一行代码对表格中的所有变量应用一个特征提取函数。我所要做的就是调用VarFun，它代表变量函数，并传入我的特征提取函数。这里的WMean是一个函数，它计算传感器变量中每一行的平均值。在本例中，我计算的是传感器值的2.5秒帧的平均值。
WMean是我当前文件夹浏览器中的一个函数，正如您所看到的，它是一个相当简单的函数。但是，根据您的应用程序和您想要提取的特性，这可以根据您的需要进行复杂操作。除了均值之外，我还想提取另外两个特征，一个是每一帧的标准差，另一个是主成分分析(PCA)，我想只保留第一个主成分。由于表可以保存混合类型的数据，我将把Activities标签分配为一个名为Activity Within Table的新变量。
让我们运行这一节，看看人类活动数据表是什么样的。我总共有19列，前6列对应于框架的平均值。接下来的6个是帧的标准差，最后6个是PCA输出。我的最后一栏是与每个观察相对应的活动，可以是躺着、坐着、爬楼梯、站着或走路。
现在我们已经准备好了数据，让我们移动分类学习器来训练我们的模型。分类学习器是统计和机器学习工具箱的一部分，您可以通过在MATLAB命令行上键入分类学习器来启动它。或者你可以在MAT统计和优化的AppStat下找到它。
我们首先从MATLAB工作区导入数据。在导入对话框的第一步中，我们从MATLAB工作区中选择数据集。在第二步中，请注意应用程序会自动选择某个变量是预测变量还是响应变量。
应用程序根据数据类型决定这一点。但是，您也可以选择更改其角色或完全删除该变量。现在，我们让它保持原样。
在第三步中，我们可以选择我们的验证方法。验证可以防止过拟合等问题。当您的数据集相对较小时，请选择交叉验证，因为它可以有效地利用所有数据。如果有足够的数据，请选择Hold Out。
我要用这个方法来解决问题因为我们有很多数据点。将我的Hold Out百分比设置为20%指示应用程序使用80%的数据进行训练，20%用于验证模型的性能。最后一个选项通常不推荐。由于所有的数据都用于训练和测试，这导致了对模型准确性的偏差估计。
Classification Learner是一个相当互动的环境，有许多不同的窗口和组件，我保证当它们变得相关时，我们会详细介绍每一个。顶部的工具条显示了从左到右的工作流，从导入数据到导出模型。在中心是由响应变量分组的成对散点图。
这张图对于寻找模式很有用。例如，这对预测器，我们注意到铺设似乎与其他活动分离得很好。坐姿似乎也很分散，但有一些重叠。工具条上的特性选择选项允许您从模型中排除预测器。对于这个例子，由于我们没有太多的预测因子，我们将保持它的原样。
在解决分类问题时，没有万能的方法。不同的分类器适用于不同类型的数据和问题。Classification Learner允许您从决策树、支持向量机、最近邻居和集成分类器中进行选择，对于每种分类器类万博1manbetx型，都有几个预设值，这些预设值是一系列分类问题的极好起点。如果您不确定选择哪个，一个弹出的工具提示将为您提供分类器的简要描述。
在使用MATLAB时，帮助总是只需要点击一下。要获得进一步的帮助，只需点击右上角的问号，这就打开了应用程序的文档。你会在这里找到你需要的关于应用程序的所有信息。现在，让我们转到下面的小节，其中有关于选择分类器的指导。
这里有一个很好的表格，它可以指导你选择哪个分类器，这取决于你想要做出的权衡。例如，决策树的拟合速度很快，但预测精度中等。另一方面，最近近邻算法对于较小的问题具有较高的预测精度，但也具有较高的内存使用量。让我们使用文档中的技巧，首先从决策树开始。
训练一个模型很容易。只需从图库中选择一个预设并点击train，这将在模型历史中生成一个火车模型，以及它的预测精度。让我们再训练一棵中等树和一棵复杂树。在验证集上表现最好的模型总是显示在绿色方框中。
除了预测准确率百分比之外，还有其他有用的诊断工具。混淆矩阵是一个很好的工具，它可以快速地告诉你分类器是如何执行的，这就是你如何阅读混淆矩阵。对角线上的任何东西都是正确分类的。对角线以外的都被错分类了。一个完美的分类器应该在对角线上是100%，其他地方是0%。
让我们来仔细看看一项活动:爬楼梯。在89.1%的时间里，该模型成功预测了活动。然而，10.9%的时候，模型认为爬楼梯是走路，换句话说，模型错误地将爬楼梯归类为走路。我们总是可以在现代历史上的不同模型之间切换来比较混淆矩阵。
应用程序中提供的另一个诊断工具是自动C曲线。采用自动C曲线来描述二叉分类器的灵敏度。曲线的形状显示了敏感性和特异性之间的权衡。当我们向上移动到曲线的右侧时，我们增加了真阳性的几率，但也增加了假阳性的几率。
在我看来，使用应用程序而不是编写代码的最大优势之一是能够训练多个模型。除了决策树，我现在要训练最近邻分类器，因为我知道它们训练起来很快，预测起来也很快。当训练多个模型时，你不必局限于这些预设。
如果您是高级用户，您总是可以打开高级弹出框来调整分类器参数。为了方便起见，这些更改也显示在模型历史记录中。在模型的历史中，我们现在有大约8个模型，我在几秒钟内训练了所有的模型，而没有写任何一行MATLAB代码。
有两种导出分析的模式。您可以直接将模型导出到MATLAB中，也可以选择生成MATLAB代码，使您能够自动执行构建此模型时所采取的所有步骤，而无需编写任何代码。让我选择这个选项，向您展示生成的代码是什么样的。
我在MATLAB中有一个注释良好，完全自动生成的MATLAB代码。我们还可以看到代码捕获的工作流中的不同步骤。例如，提取预测器和响应，使用KNN分类器训练分类器，以及设置Hold Out验证等等。您总是可以自定义生成的代码，将其集成到您的应用程序中。
让我们回到Classification Learner并导出一个模型，我们可以看到该模型现在在MATLAB工作区中可用。现在我们准备在新数据上测试模型。首先，我们从MAT文件加载一些新的传感器数据。然后我们应用前面相同的特征提取步骤。然后，我们使用导出的模型来测试这些新的传感器数据的结果。
正如我们之前看到的，顶部的绿色条显示了人正在执行的实际活动，底部的绿色条显示了模型成功检测到活动的时间。如果出错，它就是红色的。如果你想尝试一个新的模型，你可以简单地返回Classification Learner，直接导出模型或生成MATLAB代码并训练新模型以使用新数据进行预测。
让我们快速看一下我们的工作流程，总结一下我们刚刚做了什么。我们的训练数据是来自手机传感器的传感器信号。我们应用基本的预处理技术来提取平均标准差和PCA等特征。然后，我们使用Classification Learner应用程序，根据坚持验证精度得出我们的最佳模型。
对于新数据的预测，我们对新数据应用了相同的预处理步骤，然后我们使用训练有素的模型进行预测，然后将结果可视化。让我们来看另一个例子，我们将使用图像数据训练一个机器学习模型。本例的目标是训练分类器自动从网络摄像头视频中检测汽车。数据由四辆不同玩具车的几张图片组成。输出的响应是这四辆车的标签。
我们将采取的方法如下。首先，我们将使用一种称为词袋的技术从这些图像中提取特征。然后，我们使用分类学习器使用这些特征来训练和分类几个不同的分类器。最后——这是有趣的部分——我们将看到我们训练的模型的现场演示，通过我办公室的网络摄像头实时识别汽车。
让我们切换到MATLAB。我要清理我的工作空间，重新开始。让我们来看看我们的数据。这里有一些图像和文件夹，每个文件夹名是文件夹中图像集合的标签。让我们看看在MATLAB之外的图像是什么样子的。
这里有一些沙丘的图片从不同的角度和不同的光照条件下拍摄，我为四辆车都准备了几张这样的图片。在处理图像时，在循环中加载所有图像并跟踪所有文件和文件夹以及标签可能是痛苦的。计算机视觉系统工具箱有方便的工具，如图像设置，使这项任务很容易。我只是提供Image Set一个文件夹，其中有我所有的图像，并指示查看所有子文件夹以及。Image Set的另一个重要优势是它不会将所有的图像加载到内存中，所以当你有很多很多的图像时，它很容易使用。
为了预处理我的数据并提取特征，我将使用一种称为特征袋的方法。这是从图像中提取特征的一种相当复杂的技术，而且效果特别好。如果您有兴趣了解更多关于该函数的功能，计算机视觉系统工具箱文档详细解释了该算法的底层功能。现在，让我们将这个函数视为一个特征提取工具，我们将使用它从图像中提取特征。
与前面的示例一样，让我们创建一个表并将标签分配给表。让我们直接进入分类学习器，开始训练我们的模型。让我们快速浏览一下我们的数据。我们从图像中提取了200个新的特征，最后一个变量是响应。我将再次选择holdout作为我的验证，现在我准备开始训练模型。
我将快速训练几个模型，从最近的邻居和支持向量机开始。万博1manbetx现在我已经或多或少地训练了一些，让我们使用混淆矩阵进行快速的视觉诊断。混淆矩阵大部分是对角线的，所以这是一件好事，我们将快速导出其中一个模型，看看它在真实流媒体图像上的表现如何。
在运行这个函数之前，我想向您展示代码，以及获取流图像并对它们进行实时分类是多么容易。这个函数有两个输入。第一个是火车模型，第二个是特征袋对象，我将使用它从新图像中提取特征。
启动网络摄像头很容易。我要做的就是调用网络摄像头命令。在一个连续运行的循环中，我首先从网络摄像头获取一个快照，然后将其转换为灰度，这意味着模型应该能够在没有颜色信息的情况下识别汽车。下一步是从新图像中提取特征，最后使用预测函数和训练好的模型对新图像进行预测。让我们回去运行这个函数。
上面的图显示的是我的网络摄像头拍摄的图像，这里的绿色条是模型对这张图像进行预测的结果。这是我正在使用的分类器，这个柱状图显示了分类器对这辆车属于闪电、脱线、奈杰尔或沙丘的信心有多大。让我们移动相机，看看模型在不同角度和方向上的表现。
所以这个模型基本上是正确的，但当我们转向奈杰尔时，你会看到这个模型并不能完全确定它是哪辆车。底部的概率图显示了模型预测这是哪辆车的信心有多大。这是沙丘，最后是板牙。
让我们从Classification Learner中导出另一个模型，看看两个模型是如何并排执行的。因此，我将使用Linear SVM并使用默认名称选择Export。现在我的工作区中有两个分类器，或者说两个模型。一个是KNN。另一种是支持向量机。万博1manbetx
现在让我运行这段代码，并排比较这两个分类器的性能。我们在这里再次看到的是一个并排比较两个分类器性能的视频。左上角红色部分是我们SVM分类器的性能，右下角是KNN分类器的性能。这里需要注意的重要一点是，在Classification Learner中比较和测试模型不仅容易，而且将这些模型导出到MATLAB并实时测试也同样容易。
我们的演示到此结束。现在让我们切换回我们的演示。让我们使用熟悉的工作流图再次总结刚刚完成的工作。
我们的输入由磁盘上的几个标记图像组成。我们使用词袋方法来生成新特征。然后，我们使用分类学习者应用程序来达到我们的最佳模型。对于预测步骤，我们从网络摄像头获取新数据，对图像和新特征进行编码，并使用经过训练的模型进行实时预测。
这就引出了总结和关键要点。为了总结到目前为止我们所看到的内容，让我回到我在演讲开始时提出的挑战。希望您今天已经看到了MATLAB如何能够解决这些挑战。
对于数据多样性的第一个挑战，我们看到了MATLAB如何处理不同类型的数据。MATLAB还可以访问和下载金融数据，处理文本、地理空间数据和其他几种数据格式。MATLAB还拥有经过审核的行业标准算法和函数库。MATLAB还为金融、信号处理、图像处理等方面的特定工程工作流程提供了额外的工具。
我们还看到了如何快速构建和原型解决方案，这些解决方案与应用程序驱动的工作流交互，让您专注于机器学习，而不是万博 尤文图斯编程和调试。机器学习的最佳实践，如交叉验证和模型评估工具，被集成到应用程序和功能中。正如我们所看到的，MATLAB也有丰富的文档，其中有一些指导方针，可以帮助您选择正确的工具。最后，MATLAB本质上是一种灵活的建模环境和完整的编程语言，对您可以对分析进行的定制没有限制。这使得MATLAB成为一个优秀的机器学习平台。
我们的演讲到此结束，我会尽量保持简短。我想和大家分享一些关于什么时候应该考虑机器学习的指导方针。如果你正在处理一个手写规则和方程式太复杂或无法表述的问题，可以考虑机器学习。或者当您的任务规则不断变化时，您的程序或模型需要不断地适应，因为您的任务是一个移动的目标。或者当数据的性质发生变化时，程序需要不断地进行调整。
希望我已经让你们相信MATLAB对于机器学习工作流程的每一步来说都是一个强大的平台。我们一直有兴趣听到您的消息，您可以在统计和机器学习工具箱产品页面上找到我的联系信息。如果您有兴趣了解更多信息，请查看产品文档。有大量的示例和概念页面，不仅可以帮助您入门，还可以指导您掌握这些工具。
要了解更多与机器学习相关的算法、应用领域、示例和网络研讨会，请随意访问机器学习页面。本届会议到此结束。谢谢大家的聆听。
