使用更快的R-CNN深度学习进行目标检测

此示例使用：

打开实时脚本

这个例子展示了如何训练一个更快的R-CNN(卷积神经网络区域)目标检测器。

深度学习是一种强大的机器学习技术，您可以使用它来训练强健的目标检测器。存在几种用于目标检测的深度学习技术，包括更快的R-CNN和you only look once（YLO）v2。此示例使用trainFasterRCNNObjectDetector函数。有关更多信息，请参见对象检测．

下载预训练检测器

下载一个预先训练过的检测器，以避免等待训练完成。如果你想训练探测器，设置doTraining变量设置为true。

doTraining=false；如果~doTraining&&~存在('FasterrRcnnResnet50EndToEndToEndVehicleExample.mat'，“文件”)disp('下载预训练检测器（118 MB）…'）;pretrainedURL ='//www.tianjin-qmedu.com/万博1manbetxsupportfiles/vision/data/fasterRCNNResNet50EndToEndVehicleExample.mat'；websave ('FasterrRcnnResnet50EndToEndToEndVehicleExample.mat', pretrainedURL);结束

加载数据集

本例使用了一个包含295幅图像的小标记数据集。其中许多图像来自加州理工大学1999年和2001年的数据集，可在加州理工大学计算机视觉网站上获得网站，由Pietro Perona创建并经许可使用。每个图像包含一个或两个标记的车辆实例。一个小数据集有助于探索更快的R-CNN训练过程，但在实践中，需要更多标记的图像来训练强健的检测器。解压缩车辆图像并加载车辆地面实况数据。

解压vehicleDatasetImages.zipdata =负载(“vehicleDatasetGroundTruth.mat”）;vehicleDataset = data.vehicleDataset;

车辆数据存储在一个两列表中，其中第一列包含图像文件路径，第二列包含车辆包围框。

将数据集分解为训练集、验证集和测试集。选择60%的数据用于训练，10%用于验证，其余的用于测试训练过的检测器。

rng(0) shuffledIndices = randperm(height(vehicleDataset)));idx = floor(0.6 * height(vehicleDataset));trainingIdx = 1: idx;trainingDataTbl = vehicleDataset (shuffledIndices (trainingIdx):);validationIdx = idx+1: idx+1 + floor(0.1 * length(shuffledIndices));validationDataTbl = vehicleDataset (shuffledIndices (validationIdx):);testdx = validationIdx(end)+1: length(shuffledIndices);testDataTbl = vehicleDataset (shuffledIndices (testIdx):);

使用图像数据存储和boxLabelDatastore创建用于在培训和评估期间加载图像和标签数据的数据存储。

imdsTrain=图像数据存储（trainingDataTbl{：，“imageFilename”}); bldsTrain=boxLabelDatastore（培训数据TBL（：，“车辆”));imdsValidation = imageDatastore (validationDataTbl {:,“imageFilename”}）;bldsValidation = boxLabelDatastore (validationDataTbl (:,“车辆”))；imdsTest=imageDatastore（testDataTbl{：，“imageFilename”}）;bldsTest = boxLabelDatastore (testDataTbl (:,“车辆”));

结合图像和盒标签数据存储。

trainingData =结合(imdsTrain bldsTrain);validationData =结合(imdsValidation bldsValidation);testData =结合(imdsTest bldsTest);

显示其中一个训练图像和框标签。

data =阅读(trainingData);我={1}数据;bbox ={2}数据;annotatedImage = insertShape(我“矩形”，bbox）；annotatedImage=imresize（annotatedImage，2）；地物imshow（annotatedImage）

创建更快的R-CNN检测网络

更快的R-CNN目标检测网络由特征提取网络和两个子网络组成。特征提取网络通常是预先训练的CNN，如ResNet-50或Inception v3。在特征提取网络之后的第一个子网络是区域建议网络(RPN)，训练它生成目标建议——图像中可能存在目标的区域。第二个子网络被训练来预测每个对象提议的实际类别。

特征提取网络通常是预训练的CNN（有关详细信息，请参阅预训练深度神经网络(深度学习工具箱))。此示例使用ResNet-50进行特征提取。根据您的应用要求，您还可以使用其他预训练网络，如MobileNet v2或ResNet-18。

使用fasterRCNNLayers在预先训练的特征提取网络下，自动创建一个更快的R-CNN网络。fasterRCNNLayers要求您指定几个输入，以参数化更快的R-CNN网络：

网络输入大小
锚箱
特征提取网络

首先，指定网络输入大小。在选择网络输入尺寸时，考虑网络本身运行所需的最小尺寸、训练图像的尺寸以及在选定尺寸下处理数据所需要的计算代价。在可行的情况下，选择一个与训练图像尺寸相近且大于网络所需输入尺寸的网络输入尺寸。为了减少运行示例的计算成本，指定一个网络输入大小[224 224 3]，这是运行网络所需的最小大小。

inputSize=[2242243]；

请注意，本例中使用的训练图像大于224 x 224，并且大小不一，因此必须在训练前的预处理步骤中调整图像大小。

接下来，使用estimateAnchorBoxes根据训练数据中对象的大小估计锚定框。要考虑在训练之前调整图像的大小，请调整训练数据的大小以估计锚定框。使用使改变对训练数据进行预处理，定义锚盒的数量并对锚盒进行估计。

preprocesedtrainingdata = transform(trainingData， @(data)preprocessData(data,inputSize));numAnchors = 3;anchorBoxes = estimateAnchorBoxes (preprocessedTrainingData numAnchors)

anchorBoxes =3×229 17 46 39 136 116

有关选择锚定框的详细信息，请参见根据培训数据估算锚箱(计算机视觉工具箱™)和用于对象检测的锚盒．

现在，使用resnet50加载预训练的ResNet-50模型。

featureExtractionNetwork = resnet50;

选择“activation_40_relu”作为特征提取层。该特征提取层输出特征映射，向下采样的因子为16。这种向下采样量是空间分辨率和提取特征强度之间的一个很好的权衡，因为进一步向下提取的特征以空间分辨率为代价编码更强的图像特征。选择最优的特征提取层需要实证分析。您可以使用分析网络查找网络中其他潜在特征提取图层的名称。

特征层=“activation_40_relu”；

定义要检测的类的数量。

numClasses=宽度（车辆数据集）-1；

创建更快的R-CNN对象检测网络。

LGRAPHE=fasterRCNNLayers（输入大小、NumClass、锚箱、featureExtractionNetwork、featureLayer）；

您可以使用可视化网络分析网络或来自深度学习工具箱™的深度网络设计师。

如果更快的R-CNN网络架构需要更多的控制，使用深度网络设计器手动设计更快的R-CNN检测网络。有关更多信息，请参见开始与R-CNN，快速的R-CNN，更快的R-CNN．

数据增加

数据扩充用于通过在训练期间随机变换原始数据来提高网络精度。通过使用数据扩充，您可以向训练数据添加更多种类，而无需实际增加标记训练样本的数量。

使用使改变通过水平随机翻转图像和相关的框标签来增加训练数据。注意，数据扩充并不适用于测试和验证数据。理想情况下，测试和验证数据是原始数据的代表，并且不作任何修改以进行无偏性评估。

augmentedTrainingData =变换(trainingData @augmentData);

多次读取同一图像并显示增强训练数据。

augmentedData =细胞(4,1);为k=1:4 data=read（augmentedTrainingData）；augmentedData{k}=insertShape（data{1}），“矩形”，数据{2}）；重置（增强训练数据）；结束图蒙太奇（增强数据，“边界大小”, 10)

训练数据进行预处理

预处理增强后的训练数据和验证数据，为训练做准备。

trainingData =变换(augmentedTrainingData @(数据)preprocessData(数据、inputSize));validationData =变换(validationData @(数据)preprocessData(数据、inputSize));

读取预处理的数据。

data =阅读(trainingData);

显示图像和框的边界框。

我={1}数据;bbox ={2}数据;annotatedImage = insertShape(我“矩形”，bbox）；annotatedImage=imresize（annotatedImage，2）；地物imshow（annotatedImage）

火车快R-CNN

使用培训选项指定网络培训选项。集“验证数据”到预处理的验证数据。集“检查点路径”到一个临时的地方。这使得在训练过程中能够保存部分训练过的检测器。如果培训被中断，例如断电或系统故障，您可以从保存的检查点恢复培训。

选项=培训选项(“sgdm”，．．．“MaxEpochs”10．．．“MiniBatchSize”2.．．．“InitialLearnRate”1 e - 3,．．．“检查点路径”，tempdir，．．．“验证数据”, validationData);

使用trainFasterRCNNObjectDetector训练更快的R-CNN对象检测器doTraining为true。否则，加载预训练网络。

如果doTraining%训练更快的R-CNN探测器。% *调整负重叠范围和正重叠范围，以确保%表示训练样本与ground truth紧密重叠。[detector，info]=列车FastErrorCnnObjectDetector（列车数据、lgraph、选项、，．．．“负超范围”, 0.3 [0],．．．“PositiveOverlapRange”(0.6 - 1));其他的%负载预训练检测器为例。预训练=负荷('FasterrRcnnResnet50EndToEndToEndVehicleExample.mat'）;探测器= pretrained.detector;结束

此示例已在具有12 GB内存的Nvidia（TM）Titan X GPU上验证。训练网络大约需要20分钟。训练时间因使用的硬件而异。

作为快速检查，在一个测试图像上运行检测器。确保将图像调整为与训练图像相同的大小。

I=imread（testDataTbl.imageFilename{3}）；I=imresize（I，输入大小（1:2））；[b盒，分数]=检测（检测器，I）；

显示结果。

我= insertObjectAnnotation (,“矩形”，b框，分数）；图I显示（I）

使用测试集评估探测器

在大量图像上评估经过训练的目标检测器，以测量性能。计算机视觉工具箱™ 提供对象检测器评估功能，以测量常见指标，如平均精度(评估检测精度)和日志平均遗漏率(评估检测错误率)。对于此示例，请使用平均精度度量来评估性能。平均精度提供了一个单一的数字，该数字结合了检测器进行正确分类的能力（精度）和检测器查找所有相关对象的能力（召回）。

对测试数据应用与训练数据相同的预处理转换。

testData =变换(testData @(数据)preprocessData(数据、inputSize));

在所有测试图像上运行检测器。

检测结果=检测（检测器、测试数据、，“MinibatchSize”4);

评估对象探测器使用平均精度度量。

[ap，召回，精度]=评估检测精度（检测结果，检测数据）；

精度/召回(PR)曲线强调了探测器在不同召回级别上的精确程度。在所有召回级别上，理想的精度为1。使用更多的数据可以帮助提高平均精度，但可能需要更多的训练时间。绘制PR曲线。

图绘制(召回、精密)包含(“回忆”)伊拉贝尔(“精度”)网格在…上标题(sprintf ('平均精度=%.2f'据美联社)),

万博1manbetx支持功能

作用data = augmentData(数据)水平随机翻转图像和边框。tform = randomAffine2d (“XReflection”,真正的);深圳=大小(数据{1});tform溃败= affineOutputView(深圳);{1} = imwarp数据(数据{1}、tform“OutputView”,溃败);%如果需要，请清理方框数据。数据{2}= helperSanitizeBoxes(数据{2}，sz);%经盒。{2} = bboxwarp数据(数据{2}、tform溃败);结束作用targetSize data = preprocessData(数据)%将图像和边界框调整为targetSize。Sz = size(data{1}，[1 2]);规模= targetSize(1:2)。/深圳;{1} = imresize数据(数据{1},targetSize (1:2));%如果需要，请清理方框数据。数据{2}= helperSanitizeBoxes(数据{2}，sz);%调整盒子。{2} = bboxresize数据(数据{2},规模);结束

工具书类

Ren, S.， K. He, R. Gershick, J. Sun。更快的R-CNN:面向区域提议网络的实时目标检测模式分析与机器智能学报第39卷，第6期，2017年6月，第1137-1149页。

R.格希克、J.多纳休、T.达雷尔和J.马利克。精确目标检测和语义分割的丰富特征层次2014年IEEE计算机视觉和模式识别会议记录．Columbus, OH, June 2014, pp. 580-587。

[3] 快速R-CNN2015年IEEE计算机视觉国际会议记录．智利圣地亚哥，2015年12月，第1440-1448页。

C. L.齐特尼克和P. Dollar。"边缘框:从边缘定位对象"欧洲计算机视觉会议．瑞士苏黎世，2014年9月，第391-405页。

J. R. R.， K. E. A. van de Sande, T. Gevers, and A. W. M. Smeulders。"物体识别的选择性搜索"国际计算机视觉杂志. 第104卷第2期，2013年9月，第154-171页。

另请参阅