使用SSD深度学习进行对象检测

这个例子使用了:

打开实时脚本

这个例子展示了如何训练一个单一镜头检测器(SSD)。

概述

深度学习是一种强大的机器学习技术，可以自动学习检测任务所需的图像特征。有几种使用深度学习进行对象检测的技术，如Faster R-CNN、You Only Look Once (YOLO v2)和SSD。类训练SSD车辆检测器trainSSDObjectDetector函数。有关更多信息，请参见对象检测．

下载预训练检测器

下载预训练的检测器，以避免等待训练完成。如果你想训练检测器，设置doTraining变量为true。

doTraining = false;如果~doTraining && ~exist(“ssdResNet50VehicleExample_22b.mat”，“文件”) disp (“下载预训练的检测器(44 MB)…”）;pretrainedURL =“//www.tianjin-qmedu.com/万博1manbetxsupportfiles/vision/data/ssdResNet50VehicleExample_22b.mat”；websave (“ssdResNet50VehicleExample_22b.mat”, pretrainedURL);结束

加载数据集

本例使用一个包含295张图像的小型车辆数据集。这些图片大多来自加州理工学院汽车1999年和2001年的数据集，由Pietro Perona创建并获得许可使用。每张图像包含一个或两个标记的车辆实例。一个小的数据集对于探索SSD训练过程是有用的，但在实践中，需要更多的标记图像来训练一个健壮的检测器。

解压缩vehicleDatasetImages.zip数据=负载(“vehicleDatasetGroundTruth.mat”）;vehicleDataset = data.vehicleDataset;

训练数据存储在一个表中。第一列包含映像文件的路径。其余的列包含车辆的ROI标签。显示数据的前几行。

vehicleDataset (1:4,:)

ans =4×2表imageFilename车辆  _________________________________ _________________ {' vehicleImages / image_00001.jpg '} {[220 136 35 28]} {' vehicleImages / image_00002.jpg '} {[45 175 126 61]} {' vehicleImages / image_00003.jpg '} {[45 108 120 33]} {' vehicleImages / image_00004.jpg '} {[124 112 38 36]}

将数据集分为训练检测器的训练集和评估检测器的测试集。选择60%的数据进行训练。用剩下的时间做评估。

rng (0);shuffledIndices = randperm(height(vehicleDataset));idx =地板(0.6 *长度(shuffledIndices));trainingData = vehicleDataset(shuffledIndices(1:idx)，:);testData = vehicleDataset(shuffledIndices(idx+1:end)，:);

使用imageDatastore而且boxLabelDatastore在训练和评估过程中加载图像和标签数据。

imdsTrain = imageDatastore(trainingData{:，“imageFilename”});bldsTrain = boxLabelDatastore(trainingData(:，“汽车”));imdsTest = imageDatastore(testData{:，“imageFilename”});bldsTest = boxLabelDatastore(testData(:，“汽车”));

组合图像和框标签数据存储。

trainingData = combine(imdsTrain,bldsTrain);testData = combine(imdsTest, bldsTest);

显示其中一个训练图像和框标签。

data = read(trainingData);I =数据{1};Bbox =数据{2};annotatedImage = insertShape(I，“矩形”, bbox);annotatedImage = imresize(annotatedImage,2);图imshow (annotatedImage)

图中包含一个轴对象。axis对象包含一个image类型的对象。

创建SSD对象检测网络

使用ssdObjectDetector功能，自动创建SSD对象检测器。ssdObjectDetector要求您指定几个参数化SSD对象检测器的输入，包括基本网络，也称为特征提取网络，输入大小，类名，锚框和检测网络源。使用来自输入基网络的特定层来指定检测网络源。检测网络将自动连接到输入基地网络通过ssdObjectDetector函数。

特征提取网络通常是一个预先训练好的CNN(参见预训练的深度神经网络(深度学习工具箱)有关详情)。本例使用ResNet-50进行特征提取。其他预先训练的网络，如MobileNet v2或ResNet-18，也可以根据应用程序需求使用。与特征提取网络相比，检测子网是一个较小的CNN，由几个卷积层和SSD特定的层组成。

Net = resnet50();lgraph = layerGraph(net);

在选择网络输入大小时，要考虑训练图像的大小，以及在所选大小下处理数据所产生的计算成本。在可行的情况下，选择一个接近训练图像大小的网络输入大小。但是，为了减少运行本例的计算成本，网络输入大小选择为[300 300 3]。在培训期间,trainSSDObjectDetector自动调整训练图像的大小到网络输入大小。

inputSize = [300 300 3];

定义要检测的对象类。

classNames = {“汽车”};

从ResNet-50网络中移除额外的层，并添加额外的层，使基础网络更健壮，以学习检测。

iRemoveLayers()辅助函数将删除层后提到的层在layerGraph对象。我们要求这个函数从ResNet-50这样的预训练网络中去除分类和全连接层，使其可以用于骨干网。为了使骨干特征提取网络更加健壮，我们将添加七个额外的卷积层。

ssdLayerGraph = iRemoveLayers“activation_40_relu”）;weightsInitializerValue =“glorot”；biasInitializerValue =“零”；在基础网络的顶部附加额外的层。extraLayers = [];添加conv6_1和相应的reLUfilterSize = 1;numFilters = 256;numChannels = 1024;conv6_1 =卷积2dlayer (filterSize, numFilters, NumChannels = NumChannels，…Name =“conv6_1”，…WeightsInitializer = weightsInitializerValue，…BiasInitializer = biasInitializerValue);relu6_1 = reluLayer(Name =“relu6_1”）;extraLayers = [extraLayers;conv6_1;relu6_1];添加conv6_2和相应的reLUfilterSize = 3;numFilters = 512;numChannels = 256;conv6_2 =卷积2dlayer (filterSize, numFilters, NumChannels = NumChannels，…填充= iSamePadding(filterSize)，…Stride = [2,2]，…Name =“conv6_2”，…WeightsInitializer = weightsInitializerValue，…BiasInitializer = biasInitializerValue);relu6_2 = reluLayer(Name =“relu6_2”）;extraLayers = [extraLayers;conv6_2;relu6_2];添加conv7_1和相应的reLUfilterSize = 1;numFilters = 128;numChannels = 512;conv7_1 =卷积2dlayer (filterSize, numFilters, NumChannels = NumChannels，…Name =“conv7_1”，…WeightsInitializer = weightsInitializerValue，…BiasInitializer = biasInitializerValue);relu7_1 = reluLayer(Name =“relu7_1”）;extraLayers = [extraLayers;conv7_1;relu7_1];添加conv7_2和相应的reLUfilterSize = 3;numFilters = 256;numChannels = 128;conv7_2 =卷积2dlayer (filterSize, numFilters, NumChannels = NumChannels，…填充= iSamePadding(filterSize)，…Stride = [2,2]，…Name =“conv7_2”，…WeightsInitializer = weightsInitializerValue，…BiasInitializer = biasInitializerValue);relu7_2 = reluLayer(Name =“relu7_2”）;extraLayers = [extraLayers;conv7_2;relu7_2];添加conv8_1和相应的reLUfilterSize = 1;numFilters = 128;numChannels = 256;conv8_1 =卷积2dlayer (filterSize, numFilters, NumChannels = NumChannels，…Name =“conv8_1”，…WeightsInitializer = weightsInitializerValue，…BiasInitializer = biasInitializerValue);relu8_1 = reluLayer(Name =“relu8_1”）;extraLayers = [extraLayers;conv8_1;relu8_1];添加conv8_2和对应的reLUfilterSize = 3;numFilters = 256;numChannels = 128;conv8_2 =卷积2dlayer (filterSize, numFilters, NumChannels = NumChannels，…Name =“conv8_2”，…WeightsInitializer = weightsInitializerValue，…BiasInitializer = biasInitializerValue);relu8_2 = reluLayer(Name =“relu8_2”）;extraLayers = [extraLayers;conv8_2;relu8_2];添加conv9_1和相应的reLUfilterSize = 1;numFilters = 128;numChannels = 256;conv9_1 =卷积2dlayer (filterSize, numFilters, NumChannels = NumChannels，…填充= iSamePadding(filterSize)，…Name =“conv9_1”，…WeightsInitializer = weightsInitializerValue，…BiasInitializer = biasInitializerValue);relu9_1 = relullayer (“名字”，“relu9_1”）;extraLayers = [extraLayers;conv9_1;relu9_1];如果~isempty(extraLayers) lastLayerName = ssdLayerGraph.Layers(end).Name;ssdLayerGraph = addLayers(ssdLayerGraph, extralayer);ssdLayerGraph = connectLayers(ssdLayerGraph, lastLayerName, extralayer (1).Name);结束

指定将添加检测网络源的网络中的层名。

detNetworkSource = [“activation_22_relu”，“activation_40_relu”，“relu6_2”，“relu7_2”，“relu8_2”];

指定锚定框。锚框(M-by-1单元阵列)个数(M)必须与检测网络源个数一致。

锚定箱= {[60,30;30,60;60,21;42,30];…(60 111; 60111; 111年,35;64年,60岁,111年,42岁,78年,60岁);…[162111, 111162, 162, 64, 94111, 162, 78, 115111];…(213162; 162213; 213年,94;123162;213115;151162);…(264213; 213264; 264151; 187213)};

创建SSD对象检测器对象。

检测器= ssdObjectDetector(ssdLayerGraph,classNames,anchorBoxes,DetectionNetworkSource=detNetworkSource,InputSize= InputSize,ModelName=“ssdVehicle”）;

数据增加

数据增强是通过在训练过程中随机转换原始数据来提高网络的准确性。通过使用数据增强，您可以为训练数据添加更多的多样性，而无需实际增加标记训练样本的数量。使用变换对训练数据进行扩充

随机水平翻转图像和相关框标签。
随机缩放图像，关联框标签。
图像颜色抖动。

注意，数据扩充并没有应用于测试数据。理想情况下，测试数据应该是原始数据的代表，并且没有被修改以进行无偏见的评估。

augmentedTrainingData = transform(trainingData，@augmentData);

通过多次读取同一图像来可视化增强训练数据。

augmentedData = cell(4,1);为k = 1:4 data = read(augmentedTrainingData);augmentedData{k} = insertShape(数据{1}，矩形=数据{2});重置(augmentedTrainingData);结束图像蒙太奇(augmentedData,BorderSize = 10)

图中包含一个轴对象。axis对象包含一个image类型的对象。

预处理训练数据

对增强训练数据进行预处理，为训练做准备。

preprocessedTrainingData = transform(augmentedTrainingData，@(data)preprocessData(data,inputSize));

读取预处理的训练数据。

data = read(preprocessedTrainingData);

显示图像和包围框。

I =数据{1};Bbox =数据{2};annotatedImage = insertShape(I，“矩形”, bbox);annotatedImage = imresize(annotatedImage,2);图imshow (annotatedImage)

图中包含一个轴对象。axis对象包含一个image类型的对象。

训练SSD对象检测器

使用trainingOptions指定网络培训选项。集“CheckpointPath”到一个临时地点。这使得在训练过程中可以保存部分训练过的检测器。如果培训中断，例如由于停电或系统故障，您可以从保存的检查点恢复培训。

选项= trainingOptions(“个”，…MiniBatchSize = 16，…．InitialLearnRate = 1e-3，…LearnRateSchedule =“分段”，…learnratdropperiod = 30，…learnratdropfactor = 0.8，…MaxEpochs = 20，…VerboseFrequency = 50，…CheckpointPath = tempdir，…洗牌=“every-epoch”）;

使用trainSSDObjectDetector功能训练SSD对象检测器如果doTraining为true。否则，加载一个预先训练好的网络。

如果doTraining培训SSD设备检测器。[detector, info] = trainSSDObjectDetector(preprocsedtrainingdata,detector,options);其他的为示例加载预训练的检测器。预训练=负荷(“ssdResNet50VehicleExample_22b.mat”）;检测器=预训练的。结束

此示例在具有12gb内存的NVIDIA™Titan X GPU上进行验证。如果你的GPU内存较少，你可能会耗尽内存。如果发生这种情况，降低'MiniBatchSize，使用trainingOptions函数。使用这个设置训练这个网络大约需要2个小时。训练时间取决于您使用的硬件。

作为快速测试，在一个测试图像上运行检测器。

data = read(testData);I = data{1,1};I = imresize(I,inputSize(1:2));[bboxes,scores] = detect(检测器，I);

显示结果。

I = insertObjectAnnotation(I，“矩形”bboxes,分数);图imshow(我)

图中包含一个轴对象。axis对象包含一个image类型的对象。

使用测试集评估检测器

在大量图像上评估训练过的目标检测器的性能。计算机视觉工具箱™提供对象检测器评估功能，以测量常见指标，如平均精度(evaluateDetectionPrecision)和对数平均失误率(evaluateDetectionMissRate)．对于本例，使用平均精度度量来评估性能。平均精度提供了一个单一的数字，其中包含了探测器进行正确分类的能力(精度)和探测器能够找到所有相关的物体(回忆)．

对测试数据应用与训练数据相同的预处理转换。注意，数据扩充并没有应用于测试数据。测试数据应该是原始数据的代表，并且没有被修改以进行公正的评价。

preprocessedTestData = transform(testData，@(data)preprocessData(data,inputSize));

在所有测试映像上运行检测器。

detectionResults = detect(检测器，preprocesedtestdata, MiniBatchSize = 32);

使用平均精度度量来评估目标检测器。

[ap,recall,precision] = evaluateDetectionPrecision(detectionResults, preprocessedTestData);

精度/召回(PR)曲线强调了探测器在不同召回级别下的精度。理想情况下，所有召回级别的精度都是1。使用更多的数据可以帮助提高平均精度，但可能需要更多的训练时间绘制PR曲线。

图(召回率，精度)“回忆”) ylabel (“精度”网格)在标题(sprintf ('平均精度= %.2f'据美联社)),

图中包含一个轴对象。标题为Average Precision = 0.88的axes对象包含一个line类型的对象。

代码生成

训练和评估检测器之后，就可以为ssdObjectDetector使用GPU Coder™。详情请参见单次多盒检测器目标检测的代码生成的例子。

万博1manbetx支持功能

函数B = augmentData(A)应用随机水平翻转，随机X/Y缩放。盒子%缩放到边界外，如果重叠大于0.25则被剪切。同时,%抖动图像颜色。B = cell(size(A));I = a {1};sz = size(I);如果==3 && sz(3) ==3 I = jitterColorHSV(I，…对比= 0.2，…Hue = 0，…饱和度= 0.1，…亮度= 0.2);结束%随机翻转和缩放图像。tform = randomAffine2d(XReflection = true, Scale = [1 1.1]);rout = affineOutputView(sz,tform, BoundsStyle =“CenterOutput”）;B{1} = imwarp(I,tform,OutputView = rout);如果需要，消毒盒子。。A{2} = helperSanitizeBoxes(A{2}， sz);对方框应用相同的变换。[B{2}，indices] = bboxwarp(A{2}，tform,rout,OverlapThreshold = 0.25);B{3} = A{3}(指数);%仅当所有方框通过扭曲删除时才返回原始数据。如果isempty(indexes) B = A;结束结束函数data = preprocessData(data,targetSize)将图像和包围框的大小调整为targetSize。Sz = size(data{1}，[1 2]);scale = targetSize(1:2)./sz;数据{1}= imresize(数据{1}，targetSize(1:2));如果需要，消毒盒子。。data{2} = helperSanitizeBoxes(data{2}， sz);%调整盒子大小。数据{2}= bboxresize(数据{2}，规模);结束函数lgraph = iRemoveLayers(lgraph, lastLayer)移除lastLayer之后的所有图层。dg = vision.internal.cnn.RCNNLayers.digraph(lgraph);找到最后一层。id = findnode(dg,char(lastLayer));搜索从特征提取开始的所有节点%层。如果~(sum(id)==0) id = dfsearch(dg,id);names = dg.Nodes.Name(ids，:);lgraph = removeLayers(lgraph, names(2:end));结束结束函数p = iSamePadding(FilterSize) p = floor(FilterSize / 2);结束