语义分割
你需要知道的三件事
语义分割与目标检测有何不同?
语义分割是目标检测的一种有用的替代方法，因为它允许感兴趣的对象在像素级跨越图像中的多个区域。这种技术可以清晰地检测形状不规则的对象，与对象检测相反，对象检测必须适合边界框（图2）。
图2:对象检测，显示用于识别对象的边框。
语义分割是如何使用的？
因为语义分割标记图像中的像素，所以它比其他形式的对象检测更精确。这使得语义分割对于需要精确图像地图的各种行业的应用非常有用，例如：
- 自动驾驶-通过将道路与行人、人行道、电线杆和其他车辆等障碍物分开，为汽车识别可行驶的道路
- 工业检测-用于检测材料的缺陷，如晶圆检验
- 卫星图像-用于识别山脉、河流、沙漠和其他地形
- 医学成像-用于分析和检测细胞中的癌异常
- 机器人视觉-用于识别和导航对象和地形
图3多光谱卫星图像的语义分割。
示例：自动驾驶应用程序
图4中的序列显示了用于自动驾驶的语义分段的真实示例。道路图像会自动从其他车辆中分割出来。下一节将介绍如何创建这些网络。
图4:自动驾驶应用程序的语义分割。
理解体系结构
语义分割的一种常见方法是创建一个基于卷积神经网络（CNN）建筑。典型的CNN架构如图5所示。
该CNN将整个图像分类为许多预定义类别之一。
图5：CNN的典型结构。
要在像素级而不是整个图像进行分类，可以附加CNN的反向实现。上采样过程执行与下采样过程相同的次数，以确保最终图像与输入图像大小相同。最后，使用像素分类输出层，将每个像素映射到特定的类。这形成了一个编码器-解码器体系结构，它支持语义分割。
图6:CNN在每一层执行图像相关的功能，然后使用池化层(绿色)对图像进行向下采样。这个过程在网络的前半部分重复几次。这个图的前半部分的输出后面是等量的非池化层(橙色)。
步骤1:标签数据或获取标签数据。
深度学习模型建立在大量数据的基础上，语义分割也不例外。一种选择是在互联网上查找标记数据。如果你有自己的数据集，你可以使用MATLAB中的图像标签应用程序。您可以使用此数据集来训练SegNet。
图7:MATLAB Image Labeler应用程序对图像进行标注，进行语义分割。
了解更多
步骤2:创建原始图像和标记图像的数据存储。
当处理大量数据时，通常不可能将所有信息加载到内存中。要管理大型数据集，可以使用数据存储。数据存储包含要访问的文件的位置，并且仅当需要对文件进行操作时，才允许将其读入内存。
要创建一个SegNet，你需要两个数据存储:
- 图像数据存储，其中包含原始图像
- PixelLabelDatastore，其中包含已标记的图像
步骤3:对数据存储进行分区。
当创建一个SegNet时，你必须将数据存储分成两部分:
- 训练集，用于训练SegNet
- 一种测试集，用来评估网络的准确性
图8：显示彩色图像（左）和相应标记像素（右）的高速公路场景。
步骤4:导入CNN并将其修改为SegNet。
加载一个预先训练过的网络，如VGG16，并使用SegNetLayers命令，创建像素级标记所需的编码器-解码器体系结构。
图9：使用MATLAB中的一行代码创建SegNet体系结构。
第五步:培训和评估人际网络。
在最后一步中，为网络设置超参数并训练网络。
如何了解更多的语义分割
视频
- 语义分割概述(造成车厢)
- 深度学习的去神秘化：语义分割和部署(47:09)——网络研讨会
- 基于深度学习的脑肿瘤三维图像分割(3:14)
例子和如何做
- 语义分割与部署——网络研讨会
- 基于深度学习的多光谱图像语义分割——示例
