The following post is from Bill Chou, The Product Manager for AI Deployment with GPU Coder.

最新的Jetson AGX OrinPacks some incredible processing power in a small package and opens the doors for running more computationally intensive AI algorithms outside the lab. As NVIDIA has pointed out, the杰森AGX欧林能够交付8倍AI的性能以前的杰森AGX泽维尔。我们迫不及待的想尝试一下一些人工智能应用程序开发的仿真软件,看看我们可以快速获得人工智能算法在董事会和测试它。万博1manbetx

用户喜欢空客已经使用仿真软件和GPU编码器来将人工智能应用程序部署到万博1manbetx不同的一代又一代的杰森董事会快速构建原型和测试他们的人工智能应用程序They can test the AI application on their desktop developer machine first, and then migrate the AI application onto Jetson boards to use it outside their LABS, for use under a variety of the conditions: inside an aircraft, on the road in a vehicle, or an autonomous underwater vehicle.

为了说明这种方法,我们将使用一个高速公路车道下面的例子从dashcam处理视频。一旦我们确认人工智能应用程序的测试视频输入,我们从桌面开发者可以解开杰森机、开关输入测试视频直播视频提要,并采取额外的杰森走出实验室测试。

桌面运行巷和车辆检测仿真软件模型开发者的GPU万博1manbetx

我们使用万博1manbetx的仿真软件模型需要输入视频流,检测左和右车道标记以及车辆的视频帧。它使用两个深度学习网络基于YOLO v2和AlexNet意思来达到这个目的。一些预处理和后处理,包括图纸注释的左和右车道车辆周围和边界框,帮助完成的应用程序。

我们能够快速原型从这个应用程序的两个开箱即用的例子更详细地描述hereThe andhere。我们的桌面开发机器上运行万博1manbetx仿真软件模型配备强大的NVIDIA GPU桌面类,我们看到的是人工智能应用程序顺利进行,正确地识别车道标记和车辆。罩下,仿真软件自动识别模型的计算密集型部分万博1manbetx,连同NVIDIA CUDA工具包,免除了这些计算从桌面上CPU和GPU核心给我们顺利处理输出视频。

接下来,让我们关注的部署部分工作流,看看我们可以嵌入到最新的杰森AGX欧林。

从仿真软件模型生成CUDA代码万博1manbetx

生成CUDA代码和人工智能应用程序部署到杰森AGX欧林,我们可以使用GPU编码器。从桌面使用相同的仿真软件模型模万博1manbetx拟,我们需要替换输出观众块用SDL视频输出块这视频会出现在杰森板桌面给我们看。

我们还将需要设置的代码生成配置杰森AGX欧林。在代码生成的配置参数,我们可以选择使用NVIDIA的cuDNN或TensorRT深度学习网络。方式学习部分的仿真软件模型,GPU编码器将自动调用集成CUDA cuBLAS和cuF万博1manbetxFT优化库。

我们还可以设置杰森的硬件配置设置,包括NVIDIA工具链、板登录名及密码,并构建选项。

一旦配置完成,我们就可以开始生成代码。GPU编码器将首先自动识别模型的计算密集型部分模型,把它们转换成CUDA GPU核心的内核,将执行最佳性能。万博1manbetx人工智能应用程序的其余部分将作为C / c++代码运行在ARM核的杰森。 & at snippets of the generated CUDA code, we can seecudaMalloc ()调用分配内存的GPU准备运行在GPU核心内核。我们还可以发现cudaMemcpy ()调用之间移动数据的CPU和GPU在适当的部分算法,和几个CUDA内核启动的laneAndVehicleD_Outputs_kernel1 ()The andlaneAndVehicleD_Outputs_kernel1 ()调用。

我们也可以探听代表2深度学习网络的代码。看里面的设置功能YOLO v2意思网络,一旦开始执行我们的人工智能应用程序中,我们可以看到,它初始化顺序每一层到内存,包括所有的重量和偏见存储为二进制文件在磁盘上。

最后,仿真软件模型和CUDA代码生成设万博1manbetx置配置为杰森AGX欧林,值得注意的是,生成的CUDA代码可移植性,可以运行在所有现代NVIDIA gpu包括杰森&驱动平台,更不用说桌面和服务器类gpu。

一旦CUDA代码生成,GPU编码器将自动调用CUDA工具链编译、下载,并启动可执行在杰森AGX欧林。对于我们的应用程序,我们也输入视频文件复制到杰森董事会作为输入视频到人工智能应用程序。当我们使用SDL视频块,处理输出视频从杰森的董事会将杰森董事会作为SDL窗口出现,我们可以直观地看到相同的输出我们的桌面GPU模拟,尽管预期低帧率处理能力的差异。

在这一点上,我们可以把杰森AGX欧林从我们的主机开发机器,把它从我们的实验室进行进一步的测试。我们也可以把生成的CUDA代码并手动将其集成到一个更大的应用程序在另一个项目使用Packngo functionThe to neatly zip up all the necessary source code. Given the way CUDA is architected, the generated CUDA code is portable and can run on all modern NVIDIA platforms, from desktop and server class GPUs to the embedded Jetson and DRIVE boards.

The Summary

这是有趣的各种人工智能应用程序运行在杰森AGX欧林和前杰森看到性能的提高AGX泽维尔。我们上面描述的工作流帮助各种用户移动时更快地探索和原型的人工智能应用领域。带旋转新杰森AGX欧林,看到什么类型的人工智能应用程序你可以把你的设计。

我们将展示这个演示使用AGX和穿过这个工作流的更多细节在我们即将举行的2022年世博会MATLAB谈话:机器学习模型和NVIDIA杰森万博1manbetx2022年5月17日。加入会话查看工作流在行动和访问NVIDIA展位问更多问题NVIDIA的一切,包括他们的最新董事会杰森AGX欧林Jetson AGX Orin。

这是链接到车道,车辆检测的例子:

要运行这个杰森和其他人工智能应用程序,您需要MATLAB编码器万博1manbetx支持NVIDIA杰森和NVIDIA驱动平台的方案。最后,最近的例子运行在任何杰森董事会,尽管最佳性能,您需要获取最新的Jetson AGX Orin。