从系列:应用机器学习
赛斯迪兰,MathWorks
介绍在嵌入式设备上运行机器学习模型的几个关键技术和最佳实践。
本视频讨论了使模型更快并减少内存占用的选项,包括自动C/ c++代码生成、特性选择和模型缩减。
“机器学习”这个词让人联想到使用大量计算来训练模型的复杂算法。但是在“嵌入式设备”上的计算在可用的内存和计算的数量上是有限的。
现在,当我说到“嵌入式设备”时,我指的是具有特殊用途的计算系统的对象,所以想想像家用电器或自动驾驶汽车上的传感器之类的东西。
今天,我们将讨论在为嵌入式设备准备机器学习模型时需要记住的不同因素。
不同类型的模型需要不同的内存和时间来进行预测。例如,单个决策树速度快,并且需要少量内存。最近邻方法速度较慢,需要更多内存,因此您可能不希望将它们用于嵌入式应用程序。
在决定在嵌入式设备上使用哪些模型时,要记住的另一件事是如何将模型放到设备上。
大多数嵌入式系统都是用C之类的低级语言编写的。
但是机器学习通常是用高级解释语言完成的,如MATLAB、Python或R。
如果您必须用两种不同的语言维护代码库,那么保持它们的同步将是非常痛苦的。
MATLAB提供了自动将机器学习模型转换为C代码的工具,因此不需要分别用C语言手动实现模型。
那么,如果在将一个模型转换为C之后,您发现它不能满足我们系统的要求,那该怎么办呢?也许内存占用太大,或者模型花费太长时间进行预测?
您可以尝试其他类型的模型,看看代码是否满足需求。可以从一个简单的模型开始,比如决策树。
或者,您可以回到流程的早期,看看是否可以减少模型中的特性数量。您可以使用诸如邻域组件分析之类的工具,这些工具对于确定特性对结果的影响非常有用。如果您看到某些特性的权重较低,您可以将它们从我们的模型中删除,从而使我们的模型更简洁。
某些类型的模型具有与之相关的不同的约简技术。对于决策树,您可以使用修剪技术,删除提供最小精度改进的节点。
另一种方法是减少存储模型参数所需的内存。例如,查看是否可以将模型转换为保持可接受的准确性的定点表示形式。
根据您的用例,这些策略中的任何一种都是适当的。硬件考虑、网络连接和预算都是影响设计决策的关键因素。
这只是对嵌入机器学习模型的一个快速概述。有关为嵌入式设备准备模型的更多信息,请参见下面的链接。