近年来，我们已经看到人工智能和机器学习算法在许多智能任务中超过或媲美人类的表现，比如医学成像诊断和驾驶机动车。然而，这些成就的核心缺失的是对这些算法如何工作的直观理解。
本视频解释了为什么可解释性是重要的，有什么方法可以用于可解释性，并演示了如何在MATLAB中使用这些技术。具体来说，我们将研究LIME、部分依赖图和排列预测器重要性算法。我们将在分类心电图的背景下研究可解释性。所描述的技术可以应用于任何模型。看这个视频不需要有医学背景。
为什么我们需要可解释性?首先，机器学习模型并不容易理解，更准确的模型通常更难以解释。此外，还需要可解释性方法来帮助克服医疗、金融和安全行业中的监管障碍。
还需要可解释的模型，以确保它们使用正确的证据，并揭示训练数据中的偏差。人工智能最近的一个灾难性应用是在信用卡评分方面，据报道，一种算法给男性的信用额度高于女性。这可能是由于训练数据的偏差，实时数据的偏差，或者其他原因。解释模型帮助我们避免这些问题。
在我们的示例中，您将把可解释性应用于机器学习模型，该模型经过训练，可以根据来自两个公开数据库的ECG数据将心跳分类为异常或正常。ECG代表心脏对来自窦性音符的电刺激的反应，通常被分解为QRS方式。我们将使用Matlab的小波工具箱从原始信号数据中自动提取QRS波的位置。在此基础上，我们从r峰中提取了8个用于训练的特征。
一旦我们有了这些特征，我们就可以使用分类学习器快速训练模型。在这里，我们训练了一个决策树作为一个固有可解释模型的例子，以及两个复杂的模型。如果精度是最重要的，它只会选择性能最高的模型。然而，在预测生命终点护理等情况下，可解释性是非常重要的。我们要确保模型使用正确的证据做出预测，同时也要了解模型可能出错的情况。
使用Matlab的permute Predictor函数，我们可以看到，对于我们表现最好的模型，随机森林，r波的振幅被包括为重要的预测因子。然后，我们可以使用Matlab的偏相关图来量化r幅值对模型输出的影响。我们看到，当振幅接近0时，输出异常心跳分类的概率会发生5%的变化。
然而，这与我们的领域知识相矛盾。专家说，r振幅水平对心跳的分类应该没有什么影响。我们希望确保数据中的这些偏差不包括在我们的模型中。接下来，我们在没有振幅作为预测因子的情况下重新训练模型。一旦我们消除了偏差，我们就可以看到我们的新决策树是如何在全球范围内工作的。该树不关注r振幅，而是认为RR0和RR2区间是最重要的预测因子。
对于更复杂的模型，如随机森林，我们再次利用部分依赖关系图来查看最重要的预测因子如何影响模型。我们发现，极短的RR1间隔通常会导致较高概率的异常心跳分类。直觉上，这是有道理的。
我们还可以使用部分依赖关系图来比较不同的模型。观察SVM的相同特征可以发现它与我们的随机森林有相似的趋势。然而，图要平滑得多，这表明SVM对方差和输入数据不太敏感，使其成为一个更可解释的模型。
除了了解这些模型如何在全球范围内工作外，其他情况可能要求我们了解它们如何对个别预测起作用。LIME是一种围绕感兴趣的点查看数据点和模型预测的技术。在此基础上，它建立了一个简单的线性模型，作为我们复杂模型的近似值。我们的近似线性模型的系数被用作代理，以确定每个特征对我们感兴趣的点周围的预测有多少贡献。
让我们看一下SVM错误分类为正常的观察结果。我们看到，在这个观测中，RR0的值是0.0528。从我们之前的部分依赖关系图中，我们注意到在0.05左右的值时，预测异常心跳的概率会下降。我们还可以看到LIME对RR0施加了很高的负权重。RR0的高值和负权重降低了预测异常心跳的概率，解释了我们的错误分类。
然而，也有一些限制。LIME只是我们模型的近似值，绝不是我们模型如何工作的精确表示。为了说明这一点，我们可以看到，在某些情况下，我们复杂模型的预测与近似值不匹配。为了避免这种情况，尝试使用不同的参数再次运行LIME算法，直到预测结果一致，例如增加要绘制的重要预测因子的数量。
我们已经演示了如何在MATLAB中使用可解释性技术，现在可以使用可解释性来比较不同的模型，揭示数据偏差，并理解预测出错的原因。即使没有数据科学背景，我们也可以成为让机器学习变得可解释的运动的一部分。有关视频中介绍的任何技术的更多信息，请参阅下面的链接。类似的可解释性技术也存在于神经网络中，所以请一定要查看这些资源。
