基于深度学习的Simulink车道和车辆检测万博1manbetx

这个例子使用了:

打开脚本

这个例子展示了如何在Simulink®模型中使用深度卷积神经网络来执行车道和车辆检测。万博1manbetx本例以交通视频中的帧作为输入，输出对应于自我车辆左右车道的两个车道边界，并检测帧中的车辆。

本例使用预训练的车道检测网络车道检测与GPU编码器优化GPU编码器工具箱™的例子。有关更多信息，请参见车道检测与GPU编码器优化(GPU编码器)．

本例还使用了预训练的车辆检测网络使用YOLO v2深度学习的目标检测计算机视觉工具箱™的例子。有关更多信息，请参见使用YOLO v2深度学习的目标检测(计算机视觉工具箱)．

Simulink中的深度学习功能使用万博1manbetxMATLAB函数块，需要一个受支持的编译器。万博1manbetx对于大多数平台，MATLAB®安装提供了默认的C编译器。使用c++语言时，必须安装兼容的c++编译器。要查看支持的编译器列表，请打开万博1manbetx万博1manbetx支持和兼容的编译器，单击对应于您的操作系统的选项卡，找到Simulink产品族表，然后转到“用于模型引用”、“加速模式”、“快速加速模式”和“MATLAB万博1manbetx函数块”列。如果您的系统上安装了多个受支持的编译器，您万博1manbetx可以使用mex -setup命令更改默认编译器。看到更改默认编译器．

算法流程

给出了Simulink模型的算法工作流框图。万博1manbetx

预先训练车道和车辆检测网络

本例使用trainedLaneNet而且yolov2ResNet50VehicleExamplemat -包含预训练网络的文件。文件大小分别约为143 MB和98 MB。从MathWorks网站下载这些文件。

lanenetFile = matlab.internal.examples.download万博1manbetxSupportFile(“gpucoder / cnn_models / lane_detection”，“trainedLaneNet.mat”）;vehiclenetFile = matlab.internal.examples.download万博1manbetxSupportFile(“视觉/数据”，“yolov2ResNet50VehicleExample.mat”）;

下载测试交通视频

为了测试该模型，示例使用了Caltech lanes数据集。该文件大小约为16mb。从MathWorks网站下载这些文件。

mediaFile = matlab.internal.examples.download万博1manbetxSupportFile(“gpucoder /媒体”，“caltech_washington1.avi”）;

车道和车辆检测仿真模型万博1manbetx

展示了在万博1manbetx交通视频上执行车道和车辆检测的Simulink模型。当模型运行时，视频查看器块显示带有车道和车辆注释的交通视频。

open_system (“laneAndVehicleDetectionMDL”）;

在Simulink模型的预测块和检测块中设置下载的网络模型的文件路径。万博1manbetx设置要由Simulink模型加载的测试视频的位置。万博1manbetx

set_param (“laneAndVehicleDetectionMDL /车道检测”，“NetworkFilePath”lanenetFile) set_param (“laneAndVehicleDetectionMDL /车辆检测器”，“DetectorFilePath”vehiclenetFile) set_param (“laneAndVehicleDetectionMDL /交通视频”，“inputFileName”mediaFile)

车道检测

对于车道检测，对交通视频进行预处理，将视频的每一帧大小调整为227 × 227 × 3，然后缩放255倍。然后将预处理过的帧输入到trainedLaneNet.mat网络加载在预测块从深度学习工具箱™。该网络将图像作为输入，并输出两个车道边界，分别对应于自我车辆的左右车道。每个车道边界由抛物方程表示:

y = ax^2+bx+c

这里y是横向偏移，x是与车辆的纵向距离。网络在每个车道上输出三个参数a、b和c。网络架构类似于AlexNet除了最后几层被一个较小的全连接层和回归输出层所取代。的车道检测坐标MATLAB函数块定义了一个函数lane_detection_coordinates它从预测块中获取输出并输出三个参数;laneFound，ltPts,rtPts．阈值用于确定是否同时找到了左右车道边界。如果两者都找到了，laneFound设为真，边界的轨迹被计算并存储ltPts而且rtPts分别。

类型lane_detection_coordinates

function [laneFound,ltPts,rtPts] = lane_detection_coordinates(laneNetOut) %版权所有if isempty(laneCoeffMeans) laneCoeffMeans = [-0.0002,0.0002,1.4740，-0.0002,0.0045，-1.3787];结束持久化laneCoeffStds;if isempty(laneCoeffStds) laneCoeffStds = [0.0030,0.0766,0.6313,0.0026,0.0736,0.9846];end params = laneNetOut .* laneCoeffStds + laneCoeffMeans;isRightLaneFound = abs(params(6)) > 0.5;isLeftLaneFound = abs(params(3)) > 0.5;持久vehicleXPoints;if isempty(vehicleXPoints) = 3:30;%meters, ahead of sensor end ltPts = code .nullcopy(zero (28,2，'single')); rtPts = coder.nullcopy(zeros(28,2,'single')); if isRightLaneFound && isLeftLaneFound rtBoundary = params(4:6); rt_y = computeBoundaryModel(rtBoundary, vehicleXPoints); ltBoundary = params(1:3); lt_y = computeBoundaryModel(ltBoundary, vehicleXPoints); % Visualize lane boundaries of the ego vehicle tform = get_tformToImage; % Map vehicle to image coordinates ltPts = tform.transformPointsInverse([vehicleXPoints', lt_y']); rtPts = tform.transformPointsInverse([vehicleXPoints', rt_y']); laneFound = true; else laneFound = false; end end

车辆检测

本例使用基于YOLO v2的网络进行车辆检测。YOLO v2目标检测网络由两个子网络组成:特征提取网络和检测网络。这个预训练的网络使用ResNet-50用于特征提取。与特征提取网络相比，检测子网络是一个较小的CNN，由几个卷积层和特定于YOLO v2的层组成。

Simu万博1manbetxlink模型使用对象探测器块从计算机视觉工具箱。该块以图像作为输入，并输出边界框坐标以及图像中车辆的置信度分数。

交通视频中车辆边界框与车道轨迹标注

的车道及车辆批注MATLAB函数块定义了一个函数lane_vehicle_annotation它随置信度分数注释车辆边界框。如果laneFound是真的，那么左右车道的界限存储在哪里呢ltPts而且rtPts都覆盖在交通录像上。

类型lane_vehicle_annotation

function In = lane_vehicle_annotation(laneFound,ltPts,rtPts,bboxes,scores,In) % Copyright 2020-2021 The MathWorks, Inc. if ~isempty(bboxes) In = insertObjectAnnotation(In， 'rectangle'，bboxes,scores);结束PTS =编码器。Nullcopy (0 (28,4， 'single'));if laneFound prevpt = [ltPts(1,1) ltPts(1,2)];for k = 2:1:28 pts(k,1:4) = [prevpt ltPts(k,1) ltPts(k,2)];prevpt = [ltPts(k,1) ltPts(k,2)];end In = insertShape(In， 'Line'， pts， 'LineWidth'， 2);prevpt = [rtPts(1,1) rtPts(1,2)];for k = 2:1:28 pts(k,1:4) = [prevpt rtPts(k,1) rtPts(k,2)];prevpt = [rtPts(k,1) rtPts(k,2)]; end In = insertShape(In, 'Line', pts, 'LineWidth', 2); In = insertMarker(In, ltPts); In = insertMarker(In, rtPts); end end

运行模拟

为了验证车道和车辆检测算法，显示加载在Simulink模型中的交通视频的车道轨迹、车辆包围盒和分数，运行仿真。万博1manbetx

set_param (“laneAndVehicleDetectionMDL”，“SimulationMode”，“正常”）;sim卡(“laneAndVehicleDetectionMDL”）;

在Windows®上，260个字符的最大路径长度可能导致“文件未找到”运行模拟时出现错误。在这种情况下，将示例文件夹移动到其他位置或在Windows中启用长路径。有关更多信息，请参见最大路径长度限制(Microsoft)．

如果您有支持AVX2指令的Intel®CPU，则可以使用万博1manbetx深度学习库的MATLAB编码器接口加速使用英特尔mml - dnn库的模拟。在“模型配置参数”窗口中的“仿真目标”窗格中，将“语言”设置为c++和目标库MKL-DNN．

代码生成

使用GPU Coder，您可以加速NVIDIA®GPU上模型的执行，并为模型生成CUDA®代码。有关更多信息，请参见用于执行车道和车辆检测的深度学习Simulink模型的代码生成万博1manbetx(GPU编码器)．