使用YOLO v2深度学习的目标检测

这个例子使用了:

打开实时脚本

这个例子展示了如何训练一个你只看一次(YOLO) v2对象检测器。

深度学习是一种强大的机器学习技术，你可以用它来训练健壮的对象检测器。有几种用于目标检测的技术，包括Faster R-CNN和你只看一次(YOLO) v2。方法训练YOLO v2车辆检测器trainYOLOv2ObjectDetector函数。有关更多信息，请参见从YOLO v2开始(计算机视觉工具箱)．

下载预训练检测器

下载预训练的检测器，以避免等待训练完成。如果你想训练检测器，设置doTraining变量为true。

doTraining = false;如果~doTraining && ~exist(“yolov2ResNet50VehicleExample_19b.mat”，“文件”) disp (“下载预训练的检测器(98 MB)…”）;pretrainedURL =“//www.tianjin-qmedu.com/万博1manbetxsupportfiles/vision/data/yolov2ResNet50VehicleExample_19b.mat”；websave (“yolov2ResNet50VehicleExample_19b.mat”, pretrainedURL);结束

加载数据集

这个例子使用了一个包含295张图片的小型车辆数据集。这些图片大多来自加州理工学院汽车1999年和2001年的数据集，由Pietro Perona创建并获得许可使用。每张图像包含一个或两个标记的车辆实例。一个小的数据集对于探索YOLO v2训练过程是有用的，但在实践中，需要更多的标记图像来训练一个健壮的检测器。解压缩车辆图像并加载车辆地面真相数据。

解压缩vehicleDatasetImages.zip数据=负载(“vehicleDatasetGroundTruth.mat”）;vehicleDataset = data.vehicleDataset;

车辆数据存储在一个两列表中，其中第一列包含图像文件路径，第二列包含车辆边界框。

显示数据集的前几行。vehicleDataset (1:4,:)

ans =4×2表imageFilename车辆  _________________________________ ____________ {' vehicleImages / image_00001.jpg '}{1×4双}{' vehicleImages / image_00002.jpg '}{1×4双}{' vehicleImages / image_00003.jpg '}{1×4双}{' vehicleImages / image_00004.jpg '}{1×4双}

将全路径添加到本地车辆数据文件夹。vehicleDataset。imageFilename = fullfile(pwd,vehicleDataset.imageFilename);

将数据集分成训练集、验证集和测试集。选择60%的数据进行训练，10%的数据进行验证，其余的数据用于测试训练后的检测器。

rng (0);shuffledIndices = randperm(height(vehicleDataset));idx =地板(0.6 *长度(shuffledIndices));trainingIdx = 1:idx;trainingDataTbl = vehicleDataset(shuffledIndices(trainingIdx)，:);validationIdx = idx+1: idx+1 + floor(0.1 * length(shuffledIndices));validationDataTbl = vehicleDataset(shuffledIndices(validationIdx)，:);testdx = validationIdx(end)+1: length(shuffledIndices);testDataTbl = vehicleDataset(shuffledIndices(testIdx)，:);

使用imageDatastore而且boxLabelDatastore创建用于在训练和评估期间加载图像和标签数据的数据存储。

imdsTrain = imageDatastore(trainingDataTbl{:，“imageFilename”});bldsTrain = boxLabelDatastore(trainingDataTbl(:，“汽车”));imdsValidation = imageDatastore(validationDataTbl{:，“imageFilename”});bldsValidation = boxLabelDatastore(validationDataTbl(:，“汽车”));imdsTest = imageDatastore(testDataTbl{:，“imageFilename”});bldsTest = boxLabelDatastore(testDataTbl(:，“汽车”));

组合图像和框标签数据存储。

trainingData = combine(imdsTrain,bldsTrain);validationData = combine(imdsValidation,bldsValidation);testData = combine(imdsTest,bldsTest);

显示其中一个训练图像和框标签。

data = read(trainingData);I =数据{1};Bbox =数据{2};annotatedImage = insertShape(I，“矩形”, bbox);annotatedImage = imresize(annotatedImage,2);图imshow (annotatedImage)

创建YOLO v2对象检测网络

YOLO v2目标检测网络由两个子网络组成。特征提取网络，然后是检测网络。特征提取网络通常是一个预先训练好的CNN(有关详细信息，请参阅预训练的深度神经网络)．本例使用ResNet-50进行特征提取。您还可以使用其他预先训练的网络，如MobileNet v2或ResNet-18，也可以根据应用程序需求使用。与特征提取网络相比，检测子网络是一个小CNN，由几个卷积层和YOLO v2特定的层组成。

使用yolov2Layers(计算机视觉工具箱)函数创建YOLO v2对象检测网络，自动给出预训练的ResNet-50特征提取网络。yolov2Layers要求您指定几个参数化YOLO v2网络的输入:

网络输入大小
锚箱
特征提取网络

首先，指定网络输入大小和类的数量。在选择网络输入大小时，要考虑网络本身所需的最小大小，训练图像的大小，以及在所选大小下处理数据所产生的计算成本。在可行的情况下，选择一个接近训练图像大小且大于网络所需输入大小的网络输入大小。为了减少运行示例的计算成本，请指定网络输入大小为[224 224 3]，这是运行网络所需的最小大小。

inputSize = [224 224 3];

定义要检测的对象类的数量。

numClasses = width(vehicleDataset)-1;

请注意，本例中使用的训练图像大于224 * 224，并且大小不同，因此必须在训练之前的预处理步骤中调整图像的大小。

下一步,使用estimateAnchorBoxes(计算机视觉工具箱)根据训练数据中对象的大小估计锚盒。要考虑到训练前图像的大小调整，请调整用于估计锚盒的训练数据的大小。使用变换对训练数据进行预处理，然后定义锚盒数，并对锚盒进行估计。使用支持函数将训练数据调整为网络的输入图像大小万博1manbetxpreprocessData．

trainingdatafestimtimation = transform(trainingData，@(data)preprocessData(data,inputSize));numAnchors = 7;[anchorBoxes, meanIoU] = estimateAnchorBoxes(trainingdatafestimate, numAnchors)

anchorBoxes =7×2162 136 85 80 149 123 43 32 65 63 117 105 33 27

meanIoU = 0.8472

有关选择锚框的详细信息，请参见从训练数据估计锚箱(计算机视觉工具箱)(计算机视觉工具箱™)和用于对象检测的锚框(计算机视觉工具箱)．

现在,使用resnet50加载一个预先训练好的ResNet-50模型。

featureextracactionnetwork = resnet50;

选择“activation_40_relu”作为特征提取层来代替后层“activation_40_relu”与检测子网。这个特征提取层输出的特征图是下采样的16倍。这种下采样量是空间分辨率和提取的特征强度之间的一个很好的权衡，因为在网络中进一步提取的特征以空间分辨率为代价编码了更强的图像特征。选择最优特征提取层需要进行实证分析。

featureLayer =“activation_40_relu”；

创建YOLO v2对象检测网络。

lgraph = yolov2Layers(inputSize,numClasses,anchorBoxes, featureextracactionnetwork,featureLayer);

您可以可视化网络使用情况analyzeNetwork或来自深度学习工具箱™的深度网络设计器。

如果需要对YOLO v2网络架构进行更多的控制，请使用Deep network Designer手动设计YOLO v2检测网络。有关更多信息，请参见设计一个YOLO v2检测网络(计算机视觉工具箱)．

数据增加

数据增强是通过在训练过程中随机转换原始数据来提高网络的准确性。通过使用数据增强，您可以为训练数据添加更多的多样性，而无需实际增加标记训练样本的数量。

使用变换通过水平随机翻转图像和相关框标签来增强训练数据。请注意，数据扩充并不应用于测试和验证数据。理想情况下，测试和验证数据应该代表原始数据，并且不进行修改，以便进行公正的评估。

augmentedTrainingData = transform(trainingData，@augmentData);

多次读取同一图像并显示增强训练数据。

可视化增强图像。augmentedData = cell(4,1);为k = 1:4 data = read(augmentedTrainingData);augmentedData{k} = insertShape(数据{1}，“矩形”、数据{2});重置(augmentedTrainingData);结束图蒙太奇(augmentedData,“BorderSize”, 10)

预处理训练数据

对增强训练数据和验证数据进行预处理，为训练做准备。

preprocessedTrainingData = transform(augmentedTrainingData，@(data)preprocessData(data,inputSize));preprocessedValidationData = transform(validationData，@(data)preprocessData(data,inputSize));

读取预处理的训练数据。

data = read(preprocessedTrainingData);

显示图像和包围框。

I =数据{1};Bbox =数据{2};annotatedImage = insertShape(I，“矩形”, bbox);annotatedImage = imresize(annotatedImage,2);图imshow (annotatedImage)

训练YOLO v2对象检测器

使用trainingOptions指定网络培训选项。集“ValidationData”到预处理的验证数据。集“CheckpointPath”到一个临时地点。这使得在训练过程中可以保存部分训练过的检测器。如果培训中断，例如由于停电或系统故障，您可以从保存的检查点恢复培训。

选项= trainingOptions(“个”，.．.“MiniBatchSize”, 16岁,.．.．“InitialLearnRate”1 e - 3,.．.“MaxEpochs”, 20岁,.．.“CheckpointPath”tempdir,.．.“ValidationData”, preprocessedValidationData);

使用trainYOLOv2ObjectDetector(计算机视觉工具箱)函数训练YOLO v2对象检测器如果doTraining是真的。否则，加载预训练的网络。

如果doTraining训练YOLO v2检测器。[detector,info] = trainYOLOv2ObjectDetector(preprocsedtrainingdata,lgraph,options);其他的为示例加载预训练的检测器。预训练=负荷(“yolov2ResNet50VehicleExample_19b.mat”）;检测器=预训练的。结束

此示例在具有12 GB内存的NVIDIA™Titan X GPU上验证。如果你的GPU内存较少，你可能会耗尽内存。如果发生这种情况，降低“MiniBatchSize”使用trainingOptions函数。使用这种设置，训练这个网络大约需要7分钟。训练时间取决于您使用的硬件。

作为快速测试，在测试图像上运行检测器。请确保将图像大小调整为与训练图像相同的大小。

I = imread(“highway.png”）;I = imresize(I,inputSize(1:2));[bboxes,scores] = detect(检测器，I);

显示结果。

I = insertObjectAnnotation(I，“矩形”bboxes,分数);图imshow(我)

使用测试集评估检测器

在大量图像上评估训练过的目标检测器的性能。计算机视觉工具箱™提供对象检测器评估功能，以测量常见指标，如平均精度(evaluateDetectionPrecision)和对数平均失误率(evaluateDetectionMissRate)．对于本例，使用平均精度度量来评估性能。平均精度提供了一个单一的数字，其中包括探测器进行正确分类的能力(精度)和探测器找到所有相关对象的能力(召回率)。

对测试数据应用与训练数据相同的预处理转换。注意，数据扩充并没有应用于测试数据。测试数据应该是原始数据的代表，并且没有被修改以进行公正的评价。

preprocessedTestData = transform(testData，@(data)preprocessData(data,inputSize));

在所有测试映像上运行检测器。

detectionResults = detect(检测器，preprocessedTestData);

使用平均精度度量来评估目标检测器。

[ap,recall,precision] = evaluateDetectionPrecision(detectionResults, preprocessedTestData);

精度/召回(PR)曲线强调了探测器在不同召回级别下的精度。在所有召回级别上，理想的精度为1。使用更多的数据有助于提高平均精度，但可能需要更多的训练时间。绘制PR曲线。

图(召回率，精度)“回忆”) ylabel (“精度”网格)在标题(sprintf ('平均精度= %.2f'据美联社)),

代码生成

训练和评估检测器之后，就可以为yolov2ObjectDetector使用GPU Coder™。看到使用YOLO v2进行目标检测的代码生成(GPU编码器)示例获取更多详细信息。

万博1manbetx支持功能

函数B = augmentData(A)应用随机水平翻转，随机X/Y缩放。盒子%缩放到边界外，如果重叠大于0.25则被剪切。同时,%抖动图像颜色。B = cell(size(A));I = a {1};sz = size(I);如果==3 && sz(3) ==3 I = jitterColorHSV(I，.．.“对比”, 0.2,.．.“颜色”0,.．.“饱和”, 0.1,.．.“亮度”, 0.2);结束%随机翻转和缩放图像。tform = randomAffine2d(“XReflection”,真的,“规模”1.1 [1]);rout = affineOutputView(sz,tform，“BoundsStyle”，“CenterOutput”）;B{1} = imwarp(I,tform，“OutputView”,溃败);如果需要，消毒盒子数据。%A{2} = helperSanitizeBoxes(A{2}， sz);对方框应用相同的变换。[B{2}， indexes] = bboxwarp(A{2}，tform,rout，“OverlapThreshold”, 0.25);B{3} = A{3}(指数);%仅当所有方框通过扭曲删除时才返回原始数据。如果isempty(indexes) B = A;结束结束函数data = preprocessData(data,targetSize)将图像和包围框的大小调整为targetSize。Sz = size(data{1}，[1 2]);scale = targetSize(1:2)./sz;数据{1}= imresize(数据{1}，targetSize(1:2));如果需要，消毒盒子数据。%data{2} = helperSanitizeBoxes(data{2}，sz);将方框大小调整为新图像大小。数据{2}= bboxresize(数据{2}，规模);结束

参考文献

雷蒙，约瑟夫和阿里·法哈蒂。“YOLO9000:更好、更快、更强。”在2017 IEEE计算机视觉与模式识别大会, 6517 - 25所示。檀香山，HI: IEEE, 2017。https://doi.org/10.1109/CVPR.2017.690。