基于深度学习的多光谱图像语义分割

这个例子使用了:

打开实时脚本

本例展示了如何使用U-Net对具有七个通道的多光谱图像进行语义分割。

语义分割是指给图像中的每个像素标上一个类。语义分割的一个应用是跟踪森林砍伐，即森林覆盖随时间的变化。环境机构跟踪森林砍伐情况，以评估和量化一个地区的环境和生态健康状况。

基于深度学习的语义分割可以从高分辨率航空照片中获得精确的植被覆盖测量。一个挑战是区分具有相似视觉特征的类，例如尝试将绿色像素分类为草、灌木或树。为了提高分类精度，一些数据集包含多光谱图像，提供关于每个像素的额外信息。例如，哈姆林海滩州立公园的数据集用三个近红外通道补充了彩色图像，提供了更清晰的类别分离。

这个例子展示了如何使用基于深度学习的语义分割技术从一组多光谱图像中计算一个地区的植被覆盖率。

下载数据

本例使用高分辨率多光谱数据集来训练网络[1］．这组图像是用无人机在纽约哈姆林海滩州立公园上空拍摄的。数据包含有标记的训练集、验证集和测试集，有18个对象类标签。数据文件的大小为~3.0 GB。

方法下载数据集的mat文件版本downloadHamlinBeachMSIDatahelper函数。该函数作为支持文件附加到示例中。万博1manbetx

imageDir = tempdir;url =“http://www.cis.rit.edu/ ~ rmk6217 / rit18_data.mat”；downloadHamlinBeachMSIData (url, imageDir);

检查培训数据

将数据集加载到工作区中。

负载(fullfile (imageDir“rit18_data”，“rit18_data.mat”));

检查数据的结构。

谁train_dataval_datatest_data

名称大小字节类属性test_data 7x12446x7654 1333663576 uint16 train_data 7x9393x5642 741934284 uint16 val_data 7x8833x6918 855493716 uint16

所述多光谱图像数据排列为numChannels——- - - - - -宽度——- - - - - -高度数组。然而，在MATLAB®中，多通道图像被排列为宽度——- - - - - -高度——- - - - - -numChannels数组。要重塑数据，使通道处于第三维度，请使用helper函数，switchChannelsToThirdPlane．该函数作为支持文件附加到示例中。万博1manbetx

train_data = switchChannelsToThirdPlane(train_data);val_data = switchChannelsToThirdPlane(val_data);test_data = switchChannelsToThirdPlane(test_data);

确认数据具有正确的结构。

谁train_dataval_datatest_data

名称大小字节类属性test_data 12446x7654x7 1333663576 uint16 train_data 9393x5642x7 741934284 uint16 val_data 8833x6918x7 855493716 uint16

RGB颜色通道是第三、第二和第一图像通道。以蒙太奇的形式显示训练、验证和测试图像的颜色组件。要使图像在屏幕上显得更亮，请使用histeq(图像处理工具箱)函数。

图蒙太奇(.．.{histeq(train_data(:，:，[3 2 1]))，.．.Histeq (val_data(:，:，[3 2 1]))，.．.Histeq (test_data(:，:，[3 2 1]))}，.．.“BorderSize”10“写成BackgroundColor”，“白色”)标题(“训练图像(左)、验证图像(中)和测试图像(右)的RGB组件”）

以蒙太奇的形式显示训练数据的最后三个直方图均衡化通道。这些通道与近红外波段相对应，并根据其热特征突出显示图像的不同组成部分。例如，靠近第二个通道图像中心的树比其他两个通道中的树显示出更多的细节。

图蒙太奇(.．.{histeq (train_data (:: 4)),.．.histeq (train_data (:: 5)),.．.histeq (train_data (:: 6))},.．.“BorderSize”10“写成BackgroundColor”，“白色”)标题(“训练图IR通道1(左)、2(中)、3(右)”）

通道7是一个掩码，表示有效的分割区域。显示训练、验证和测试图像的掩码。

图蒙太奇(.．.{train_data (:: 7).．.val_data (:: 7).．.test_data (:: 7)},.．.“BorderSize”10“写成BackgroundColor”，“白色”)标题(“训练图(左)、验证图(中)、测试图(右)的掩码”）

标记的图像包含用于分割的真实数据，每个像素分配给18个类中的一个。获取具有相应id的类列表。

disp(类)

0.其他类/图像边界道路标志2。树3。建设4。交通工具(小汽车、卡车或公共汽车)6人。7号椅子。野餐桌8。9.黑木面板 White Wood Panel 10. Orange Landing Pad 11. Water Buoy 12. Rocks 13. Other Vegetation 14. Grass 15. Sand 16. Water (Lake) 17. Water (Pond) 18. Asphalt (Parking Lot/Walkway)

创建一个类名向量。

classNames = [“路标”，“树”，“建筑”，“汽车”，“人”，.．.“LifeguardChair”，“PicnicTable”，“BlackWoodPanel”，.．.“WhiteWoodPanel”，“OrangeLandingPad”，“浮”，“石头”，.．.“LowLevelVegetation”，“Grass_Lawn”，“Sand_Beach”，.．.“Water_Lake”，“Water_Pond”，“沥青”];

在直方图均衡化的RGB训练图像上叠加标签。为图像添加一个色条。

cmap = jet(编号(classNames));B = labeloverlay(histeq(train_data(:，:，4:6))，train_labels，“透明”, 0.8,“Colormap”,提出);图的标题(“培训”标签) imshow(B) N = number (classNames);ticks = 1/(N*2):1/N:1;colorbar (“TickLabels”cellstr(类名),“滴答”蜱虫,“TickLength”0,“TickLabelInterpreter”，“没有”）;colormap城市规划机构(cmap)

培训数据保存为MAT文件，培训标签保存为PNG文件。

保存(“train_data.mat”，“train_data”）;imwrite (train_labels“train_labels.png”）;

为训练创建随机补丁提取数据存储

使用随机补丁提取数据存储将训练数据输入网络。该数据存储从包含真实图像和像素标签数据的图像数据存储和像素标签数据存储中提取多个对应的随机补丁。补丁是一种常见的技术，用于防止大图像的内存不足，并有效地增加可用的训练数据量。

从存储训练图像开始“train_data.mat”在一个imageDatastore．因为MAT文件格式是非标准图像格式，所以必须使用MAT文件读取器来读取图像数据。你可以使用MAT文件阅读器，matReader，该方法从训练数据中提取前六个通道，并省略最后一个包含掩码的通道。该函数作为支持文件附加到示例中。万博1manbetx

imds = imageDatastore(“train_data.mat”，“FileExtensions”，“.mat”，“ReadFcn”, @matReader);

创建一个pixelLabelDatastore(计算机视觉工具箱)存储包含18个标记区域的标签补丁。

pixelLabelIds = 1:18;pxds = pixelLabelDatastore(“train_labels.png”一会,pixelLabelIds);

创建一个randomPatchExtractionDatastore(图像处理工具箱)从图像数据存储和像素标签数据存储。每个小批包含16个大小为256 * 256像素的补丁。在纪元的每次迭代中提取1000个小批。

dsTrain = randompatchextracactiondatastore (imds,pxds，[256,256]，“PatchesPerImage”, 16000);

随机补丁提取数据存储dsTrain在历元的每个迭代中向网络提供小批量数据。预览数据存储以查看数据。

inputBatch =预览(dsTrain);disp (inputBatch)

InputImage ResponsePixelLabelImage  __________________ _______________________ { 256×256×6 uint16}{256×256分类}{256×256×6 uint16}{256×256分类}{256×256×6 uint16}{256×256分类}{256×256×6 uint16}{256×256分类}{256×256×6 uint16}{256×256分类}{256×256×6 uint16}{256×256分类}{256×256×6 uint16}{256×256分类}{256×256×6 uint16}{256×256分类}

创建U-Net网络层

本例使用U-Net网络的一个变体。在U-Net中，在初始的卷积层序列中穿插最大池化层，依次降低输入图像的分辨率。这些层之后是一系列卷积层，其中穿插着上采样算子，依次增加输入图像的分辨率[2］．U- net这个名字来源于这样一个事实，即网络可以画出一个像字母U一样的对称形状。

这个例子将U-Net修改为在卷积中使用零填充，以便卷积的输入和输出具有相同的大小。使用helper函数，createUnet，以使用几个预先选定的超参数创建U-Net。该函数作为支持文件附加到示例中。万博1manbetx

inputTileSize = [256,256,6];lgraph = createUnet(inputTileSize);disp (lgraph.Layers)

58x1带有图层的图层数组:256 x256x6 ImageInputLayer的图像输入图像的zerocenter正常化64 3 x3x6 Encoder-Section-1-Conv-1的卷积运算与步幅[1]和填充[1 1 1 1]3‘Encoder-Section-1-ReLU-1 ReLU ReLU 4 Encoder-Section-1-Conv-2卷积64 3 x3x64旋转步[1]和填充[1 1 1 1]5‘Encoder-Section-1-ReLU-2 ReLU ReLU 6“Encoder-Section-1-MaxPool”马克斯池2 x2马克斯池步(2 - 2)和填充[0 0 0 0]7“Encoder-Section-2-Conv-1”卷积128 3 x3x64旋转步[1]和填充(1 1 1)8“Encoder-Section-2-ReLU-1”ReLU ReLU 9 Encoder-Section-2-Conv-2卷积128 3 x3x128旋转步[1]和填充[1 1 1 1]10 ' Encoder-Section-2-ReLU-2 ReLU ReLU 11“Encoder-Section-2-MaxPool”马克斯池2 x2马克斯池步(2 - 2)和填充[0 0 0 0]256 3 x3x128 Encoder-Section-3-Conv-1的卷积运算与步幅[1]和填充[1 1 1 1]13“Encoder-Section-3-ReLU-1”ReLU ReLU 14 Encoder-Section-3-Conv-2卷积256 3 x3x256旋转步[1]和填充[1 1 1 1]15 ' Encoder-Section-3-ReLU-2 ReLU ReLU 16“Encoder-Section-3-MaxPool”马克斯池2 x2马克斯池步(2 - 2)和填充[0 0 0 0]17 Encoder-Section-4-Conv-1卷积512 3 x3x256旋转步[1]和填充[1 1 1 1]18“Encoder-Section-4-ReLU-1”ReLU ReLU 19 Encoder-Section-4-Conv-2卷积512 3 x3x512旋转步[1]和填充[1 1 1 1] 20 ' Encoder-Section-4-ReLU-2 ReLU ReLU 21“Encoder-Section-4-DropOut”辍学50%辍学22“Encoder-Section-4-MaxPool”马克斯池2 x2马克斯池步(2 - 2)和填充[0 0 0 0]23 Mid-Conv-1卷积1024 3 x3x512旋转步[1]和填充[1 1 1 1]24的Mid-ReLU-1 ReLU ReLU 25 Mid-Conv-2卷积1024 3 x3x1024旋转步[1]和填充[1 1 1 1]26 ' Mid-ReLU-2 ReLU ReLU 27“Mid-DropOut”辍学辍学28 50%Decoder-Section-1-UpConv转置卷积512 2 x2x1024转置运算与步幅2[2]和裁剪[0 0 0 0]29的Decoder-Section-1-UpReLU ReLU ReLU 30 Decoder-Section-1-DepthConcatenation深度深度串联连接的2输入31 Decoder-Section-1-Conv-1卷积512 3 x3x1024旋转步[1]和填充[1 1 1 1]32“Decoder-Section-1-ReLU-1”ReLU ReLU 33 Decoder-Section-1-Conv-2卷积512 3 x3x512[1]和隆起与进步填充[1 1 1 1]34 ' Decoder-Section-1-ReLU-2 ReLU ReLU 35 Decoder-Section-2-UpConv转置卷积256 2 x2x512转置运算与步幅2[2]和裁剪[0 0 0 0]36的Decoder-Section-2-UpReLU ReLU ReLU 37的Decoder-Section-2-DepthConcatenation深度连接深度连接2输入38 Decoder-Section-2-Conv-1卷积256 3 x3x512旋转步[1]和填充[1 1 1 1]39的Decoder-Section-2-ReLU-1 ReLU ReLU 40“Decoder-Section-2-Conv-2”卷积256 3 x3x256旋转步[1]和填充(1 1 1)41 ' Decoder-Section-2-ReLU-2 ReLU ReLU 42 Decoder-Section-3-UpConv转置卷积128 2 x2x256转置运算与步幅2[2]和裁剪[0 0 0 0]43的Decoder-Section-3-UpReLU ReLU ReLU 44的Decoder-Section-3-DepthConcatenation深度连接深度连接2输入45‘Decoder-Section-3-Conv-1卷积128 3 x3x256旋转与步幅[1]和填充[1 1 1 1]46‘Decoder-Section-3-ReLU-1 ReLU ReLU 47 Decoder-Section-3-Conv-2卷积128 3 x3x128旋转步[1]和填充[1 1 1 1]48 ' Decoder-Section-3-ReLU-2 ReLU ReLU 49 Decoder-Section-4-UpConv转置卷积64 2 x2x128转置运算与步幅2[2]和种植50[0 0 0 0]的Decoder-Section-4-UpReLU ReLU ReLU 51 Decoder-Section-4-DepthConcatenation的深度连接深度连接2输入52 x3x128 Decoder-Section-4-Conv-1卷积64 3旋转步[1]和填充[1 1 1 1]53的Decoder-Section-4-ReLU-1 ReLU ReLU 54 Decoder-Section-4-Conv-2卷积64 3 x3x64旋转步[1]和填充[1 1 1 1]55的Decoder-Section-4-ReLU-2 ReLU ReLU 56 Final-ConvolutionLayer的卷积18 1 x1x64旋转步[1]和填充[0 0 0 0]57 ' Softmax-Layer Softmax Softmax 58 Segmentation-Layer的像素分类层叉损失

选择培训选项

使用动量随机梯度下降(SGDM)优化训练网络。属性指定SGDM的超参数设置trainingOptions函数。

训练一个深度网络是很耗时的。通过指定高学习率来加速培训。然而，这可能会导致网络的梯度爆炸或不受控制地增长，从而阻止网络成功训练。要将渐变保持在有意义的范围内，请通过指定“GradientThreshold”作为0.05，并指定“GradientThresholdMethod”使用梯度的l2范数。

initialLearningRate = 0.05;maxEpochs = 150;minibatchSize = 16;L2reg = 0.0001;选项= trainingOptions(“个”，.．.“InitialLearnRate”initialLearningRate,.．.“动量”, 0.9,.．.“L2Regularization”l2reg,.．.“MaxEpochs”maxEpochs,.．.“MiniBatchSize”minibatchSize,.．.“LearnRateSchedule”，“分段”，.．.“洗牌”，“every-epoch”，.．.“GradientThresholdMethod”，“l2norm”，.．.“GradientThreshold”, 0.05,.．.“阴谋”，“训练进步”，.．.“VerboseFrequency”, 20);

培训网络

默认情况下，示例使用downloadTrainedUnethelper函数。该函数作为支持文件附加到示例中。万博1manbetx预训练的网络使您可以运行整个示例，而不必等待训练完成。

为了训练网络，设置doTraining变量转换为真正的．训练模型使用trainNetwork函数。

如果有GPU，可以在GPU上进行训练。使用GPU需要并行计算工具箱™和支持CUDA®的NVIDIA®GPU。有关更多信息，请参见GPU支万博1manbetx持版本(并行计算工具箱)．在NVIDIA Titan X上训练大约需要20个小时。

doTraining = false;如果doTraining [net,info] = trainNetwork(dsTrain,lgraph,options);modelDateTime = string(datetime(“现在”，“格式”，“yyyy-MM-dd-HH-mm-ss”));保存(strcat (“multispectralUnet——”modelDateTime,“时代——”num2str (maxEpochs),“.mat”)，“净”）;其他的trainedUnet_url =“//www.tianjin-qmedu.com/万博1manbetxsupportfiles/vision/data/multispectralUnet.mat”；downloadTrainedUnet (trainedUnet_url imageDir);负载(fullfile (imageDir“trainedUnet”，“multispectralUnet.mat”));结束

现在可以使用U-Net对多光谱图像进行语义分割。

根据测试数据预测结果

为了在经过训练的网络上执行前向传递，使用helper函数，segmentImage，使用验证数据集。该函数作为支持文件附加到示例中。万博1manbetxsegmentImage属性对图像补丁执行分割semanticseg(计算机视觉工具箱)函数。

predictPatchSize = [1024 1024];segmentedImage = segmentmage (val_data,net,predictPatchSize);

为了只提取分割的有效部分，将分割后的图像乘以验证数据的掩码通道。

segmentedImage = uint8(val_data(:，:，7)~=0) .* segmentedImage;figure imshow(segmentedImage，[]) title(“分割图像”）

语义分割的输出是有噪声的。执行后期图像处理，以消除噪声和杂散像素。使用medfilt2(图像处理工具箱)函数从分割中去除椒盐噪声。可视化去除噪声后的分割图像。

segmentedImage = medfilt2(segmentedImage，[7,7]);imshow (segmentedImage []);标题(“去除噪声的分割图像”）

将分割后的图像叠加在直方图均衡的RGB验证图像上。

B = labeloverlay(histeq(val_data(:，:，[3 2 1]))，segmentedImage，“透明”, 0.8,“Colormap”,提出);图imshow(B)标题(“标记验证图像”) colorbar (“TickLabels”cellstr(类名),“滴答”蜱虫,“TickLength”0,“TickLabelInterpreter”，“没有”）;colormap城市规划机构(cmap)

将分割后的图像和ground truth标签保存为PNG文件。这些将用于计算精度指标。

imwrite (segmentedImage“results.png”）;imwrite (val_labels“gtruth.png”）;

量化分割精度

创建一个pixelLabelDatastore(计算机视觉工具箱)用于分割结果和ground truth标签。

pxdsResults = pixelLabelDatastore(“results.png”一会,pixelLabelIds);pxdsTruth = pixelLabelDatastore(“gtruth.png”一会,pixelLabelIds);

利用语义分割的全局精度来度量语义分割的全局精度evaluateSemanticSegmentation(计算机视觉工具箱)函数。

ssm = evaluateSemanticSegmentation(pxdsResults,pxdsTruth，“指标”，“global-accuracy”）;

评估语义分割结果  ---------------------------------------- * 所选指标:全球精度。*处理1张图像。*完成……完成了。*数据集指标:GlobalAccuracy ______________ 0.90698

全局精度分数表明，只有超过90%的像素被正确分类。

计算植被覆盖范围

本例的最终目标是计算多光谱图像中植被覆盖的程度。

找出标记植被的像素数。标签id 2(“Trees”)、13(“LowLevelVegetation”)和14(“Grass_Lawn”)是植被类别。还可以通过将掩码图像的ROI中的像素相加来找到有效像素的总数。

vegetationClassIds = uint8([2,13,14]);vegetationPixels = ismember(segmentedImage(:)，vegetationClassIds);validPixels = (segmentedImage~=0);numVegetationPixels = sum(vegetationPixels(:));numValidPixels = sum(validPixels(:));

用植被像素数除以有效像素数计算植被覆盖率。

percentVegetationCover = (numVegetationPixels/numValidPixels)*100;流(“植被覆盖的百分比是%3.2f%%。”, percentVegetationCover);

植被覆盖率为51.72%。

参考文献

[1] Kemker, R.， C. Salvaggio, C. Kanan。用于语义分割的高分辨率多光谱数据集, abs / 1703.01918。2017.

[2]罗内伯格，O. P.费舍尔和T.布罗克斯。U-Net:用于生物医学图像分割的卷积网络, abs / 1505.04597。2015.

另请参阅

外部网站

https://github.com/rmkemker/RIT-18