计算机视觉很容易

欢迎来到计算机视觉做了简单的网络研讨会。我叫Sandeep,我在MathWorks产品营销团队。计算机视觉是由我们的客户广泛使用来解决各种视力问题在不同的应用领域。例如,在设计自动驾驶车道偏离警告系统。在机器人,帮助计划“勇气号”火星探测器。

这里,是一个简单的例子,一个计算机应用交通监控系统喜欢你可能已经注意到当开车经过一个红绿灯。在这里,一个基于摄像头监控系统场景中跟踪汽车的数量在任何给定的时间点。在此系统中,计算机视觉主要用于检测,计算光的汽车在每一帧的视频相机。检测对象像汽车视频是一种常见的计算机视觉任务,但有很多更像他们。

那么什么是一些常见的任务,还是问题?好吧,如果你不熟悉计算机视觉,您可能会感兴趣我怎么检测场景中的对象。或如何测量对象,或地区的形象。或者我怎么检测对象,分类使用深度学习事件。在这个视频中,我们的目标是帮助您开始处理这个常见的计算机视觉任务,或问题。你会通过一些真实世界的例子使用MATLAB。

这里的示例,我们将讨论在接下来的30分钟左右。让我们开始我们的第一个例子。在这个例子中,我有一个形象的杂乱堆扑克牌在左边。和一个特定的形象扑克牌在右边。我的目标是检测,或定位图像中的特定扑克牌的一堆卡片。这看起来是一个简单的任务。然而,有许多挑战来解决这个问题。感兴趣的对象似乎较小,或大于模板映像。可以旋转或倾斜。或者他们可能是部分隐藏在其他对象。 These are some common challenges that you will notice in most object detection problems.

在这里,你不能使用这样的标准图像处理算法模板匹配找到这个对象。你需要一个更为复杂的,健壮的方法。为了解决这个问题,我选择了一个非常基本的计算机视觉流程称为特征检测提取,和匹配。在我们进入理解这个工作流之前,让我们先来了解什么是特性。简而言之,图像特性是一个截然不同的地区,导致一个独特的比赛在另一个形象。并在许多图像是可重复的。一些好的特征图像角落的例子,边缘,斑点,或者一个对象的一个模板,或者地区场景中。

这是什么工作流程是什么样的?基于特征对象检测工作流程包括三个主要步骤。首先,检测对象的模板映像中的有趣的特性。这是绿色标记所示。和你相同的其他图像。第二,发现周边的地区特性,将一些该地区信息编码到你所说的特征描述符。这就是所谓的特征提取,由周围的绿色圆圈标记。你这样做的图片。

第三,你寻找相应的两幅图像提取的特征之间的匹配。然后删除任何异常值。一旦你有一组匹配特性,您可以估计场景中对象的位置。现在,让我们去MATLAB,看看如何解决这个问题。

好的,这是我的MATLAB环境。现在,我要做的第一件事是读,我们正在与这两幅图像。一,是参考图像卡的红心国王卡,我们正在寻找。第二,凌乱的卡片信息,包含这张卡片。所以我要用我从图像读取定价工具箱阅读两张图片。然后用我相信对彼此旁边显示它们。

这是我的照片。如您所见,红心国王卡和图像卡不是在同一方向,和规模的参考图像。可能也不相同的参考平面。所以一个简单的图像定价技术像模板匹配不会在这种情况下工作。我们需要一个更健壮的方法是寻找特性在这些图片中,并比较他们找到匹配。所以在下一节中,我将使用一个算法称为冲浪这些图像的检测特性。

现在,上网工作特别是二维灰度图像。所以我必须使用RGB创建最初,将彩色图像转换为灰度。然后,我用从计算机视觉检测冲浪功能工具箱,和参考图像。这应该输出图像的特征点检测。接下来,我想想象这幅图像的特征点检测。这里,我选择情节只有最强的50分。

这里,是参考图片,和50个最强的特征点在整个图像的位置由十字架。围着这些位置点代表的规模特性都应该在一起是重要的部分特征描述符。这些特征描述符代表的独特和有趣的信息描述,并从图像中其他功能区分它们。

现在,冲浪算法定义了这些特性通过检测斑点在这个形象。blob除了连接区域与高对比度图像像素。在我们的例子中,一个blob的心套装卡。或国王的眼睛是些小的角色K区域。现在,就像冲浪还有许多其他检测算法可以通过计算机视觉工具盒。例如,我们已经快真的擅长发现角落里的图片。所以请参考帮助文档了解更多关于所有这些不同的特征检测算法。

现在,让我们回到我们的脚本,看下一步会发生什么。所以接下来,我要检测冲浪功能在卡片上的形象。确保使用相同的检测算法对图像,这样我们才能做一个苹果和苹果的比较,和匹配这些特性。让我们运行这个部分。看看这一次,300年的最强点形象。这里,你可以看到我们在红心国王卡地区的特征点,但也在其他牌形象。

现在一旦检测到的特征点图像,接下来,我们要提取的特征描述符这些点周围的地区的地图。为此,我使用从计算机视觉中提取特征函数工具箱。我通过之前的灰度图像和检测到的点。这将给我们的特征向量,为每个图像和相应的位置。现在,这里使用的提取方法,取决于所使用的检测算法,在我们的案例中冲浪。我现在有图像的特征描述符。

接下来,我需要比较他们找到匹配。所以要做到这一点,我将使用计算机视觉匹配功能工具箱返回匹配特性的指标在两个输入特性集。然后我可以获得相应的匹配特征点的图片,并使用显示匹配特性的匹配点。让我们运行这个部分,看看匹配点在两幅图像。

正如你可以看到,两个图像匹配特性已经发现了许多。这些比赛也在红心国王地区除了少数像这两点在黑桃杰克卡。现在,注意有一些特征匹配的卡片字符区域中心,卡片的角色形象。但这里也K的逆转。这样做的原因是,冲浪算法是旋转不变的,这意味着它将检测匹配,无论他们的取向和特性。而且,不管他们的规模。这就是为什么基于特征探测器更强大的比一个简单的模板匹配技术。

现在,我们找到了两张牌之间的匹配,我们还没有完成了检测问题。我需要提高去除离群值的匹配,包括重复匹配字符K反过来,这样我可以找到确切的区域内卡图像红心国王卡所在。为此,我将使用计算机视觉的估计几何变换函数工具箱来计算确定参考图像的变换矩阵几何,和空间的转换,这样它的边界地区内最适合红心国王卡在卡的形象。

这个函数也返回内围层分这两者都是通过消除图像的离群值的我们看到杰克的黑桃卡,使用一个叫做RANSAC算法。RANSAC或随机样本的共识是一个数学模型,使用迭代方法来估计窗通过随机抽样观察点找到最优拟合的结果。在我们的例子中,这是一个几何变换,将帮助符合参考卡片信息杂乱卡的形象。您可以了解更多关于这个算法被指帮助信息估计几何变换函数。

现在,让我们继续,再次运行部分,看到匹配功能。但是这一次,离群值的遥远。那就这样吧。这些异常值,黑桃杰克卡已被移除。同时,注意一些其他的模糊匹配,我们以前见过的也被消除。最后,使用我们之前得到的变换矩阵,我们可以继续,和转换的矩形的尺寸参考卡片信息,并称之为新盒子的多边形。

然后,用它来输入卡的图像显示的确切位置检测到卡在凌乱卡的形象。这是一个最终结果。现在,到目前为止我们看到的是如何在图像检测卡使用参考图像。现在,如果我们想要检测的类型,或承认这张卡片吗?也就是说,它是一个红心国王卡。现在,我们可以再次使用特征匹配方法。但是让我们看到一种更为复杂的方法,我们将使用一个训练有素的检测算法进行检测。

训练有素的探测器,而不是使用一个模板,和匹配特性,我们将使用surf-like技术收集大量图像的特性集说,这个角色k,然后使用支持向量机等机器学习模型,我们将设计一个检测器可以检测这个角色在其他图像。因为训练检测器与功能训练从几百美元到几千模板图像,它是一种更健壮的方法像当检测物体在不同照明条件下,或试图找到一个对象的类。说,像汽车检测的图像无论模型,或使。

所以在我们的例子中,我们使用一个训练检测器检测卡检测到卡内字符的字体。说,这封信K红心国王卡。你知道,我将使用光学字符识别,或光学字符识别算法。所以让我们继续,看到如何使用这个算法在MATLAB。首先,我们将改变卡的形象使用fitgeotrans匹配参考图像。我们这样做,以便可以将图像空间调整以匹配参考图像的尺寸。通过这样做,我们就可以轻松提取字符,套房卡中的信息因为我们知道这是总是可以在任何卡片的左上角区域。

所以让我们继续,de-warp卡片使用imwarp函数图像,并查看输出。这里是红心国王卡地区,和卡的形象已经改变了。接下来,我需要提取包含字符的地区卡,和西装,使用提取的区域来检测他们每个人单独。提取这些区域,我有一个helper函数,getCardROIs执行这个提取,并返回包含字符的区域,和西装。我使用蒙太奇命令来显示提取的区域。让我们运行这个部分,并查看输出。

这里是提取的区域作为两个单独的子图像。接下来,我需要确定这个角色在第一子图像。要做到这一点,我可以使用光学字符识别、光学字符识别算法。正确使用OCR技术来检测和识别文本在一个图像。这可能是印刷或手写的文字。在MATLAB中,我们有一个pre-trained OCR函数,可以在计算机视觉的工具箱。有多个默认字体,它可以检测,但它也可以被训练来检测自定义字体。所以在我的剧本,我使用OCR函数来检测子图像中的字符。

这里,是OCR返回的输出。你可以看到,它已经成功发现了卡角色k .接下来,我需要找到适合类型在第二子图像。嗯,我已经使用模板匹配的一个更简单的方法。我只是比较这子图像与一组模板图像,我有四个不同的套装。我用这异象。TemplateMatcher从计算机视觉系统对象工具箱进行模板匹配。如果你想了解更多关于系统对象,请去,发现视力。TemplateMatcher帮助文档。

我运行所有的模板匹配的图像在for循环。在这里,在for循环中,我读一个模板映像,调整子图像与模板图像,然后进行模板匹配。系统对象在本例中,返回一个匹配度规最大的度量值对应于最佳匹配。让我们运行部分,看看我们的子图像的结果是什么样子的。正如你所看到的,我们已经成功地检测到输出模板匹配这些心。

这里要注意一件事,模板匹配是一个非常基本的探测技术在这种特殊情况下工作得很好。但如果西装不一致,同样,或者不同相反,这将会失败。对于更复杂的检测问题,考虑使用一种更健壮的方法就像我们之前看到的基于功能的检测。最后,我们可以用检测卡注释卡图像字符,红心国王和套装的名称。

像OCR,还有许多其他对象探测器通过计算机视觉中可用MATLAB工具箱,可以用来检测一些常见的物体像条形码,人,面孔,前景对象视频和博客。这些探测器也可以训练自己的数据来检测感兴趣的其他对象。例如,检测行人在道路场景。

MATLAB,通过计算机视觉工具箱,也为您提供了一组可以使用对象探测器基于一些受欢迎的深度学习网络。在MATLAB您还可以输入,并使用pre-trained深度学习网络来解决目标检测问题。例如,在这个视频中,我们显示,pre-trained网络被称为AlexNet已经训练检测大约1000个不同的对象类。MATLAB允许您导入这个普遍使用网络与一行代码,并使用它在你的计算机视觉应用程序。

有许多深学习模型像AlexNet普遍使用的研究,和商业领域,你可以快速导入MATLAB,并开始使用它们在你的解决方案。万博 尤文图斯现在,请注意,您可以用新的数据重新培训这些网络在MATLAB来检测感兴趣的其他对象。这里列出了一些普遍使用深度学习探测器。同时,请注意,这些在MATLAB作为现成的函数。另一件事我想强调的是,MATLAB,除了便于应用深度学习使用pre-trained网络计算机视觉问题,它还提供了交互式应用像标签应用,和深度网络设计师应用,使整个工作流的免费培训这些网络从头开始设计新的网络非常方便,和剥削的过程。

现在,让我们移动到第二个例子,也就是测量对象在一个图像的大小。在这个例子中,我是一个图像的不同,和一些其他的对象。我想做的是图像中分离出类型,然后确定所有种类的总价值。例如,如果我有两个季度,镍,总价是0.55美元。现在,一种方法,是确定图像中不同类型的类型根据其大小。然后,如果我知道每种硬币的直径,说,四分之一是24.26毫米,我可以用这两个的信息,并找出有多少种类的每种类型的形象。

之后,这是一个简单的数学计算总额的硬币图像。现在,比较图像中基于像素尺寸,实际尺寸,或对象的尺寸,我们需要计算一个像素的大小在现实世界的单位。这个因素将帮助我们找到真正的任何对象的大小,或区域内的图像。现在,有一些挑战,准确地测量现实世界中的像素大小的单位。主要挑战之一是扭曲由于相机属性会影响有效地进行这种测量。

解决此类distortion-related挑战,我将使用一个相机校准工作流程。校准允许我们估计的参数性能的镜头,和相机。那么这些相机属性是什么呢?有内在属性如焦距、光学中心,透镜畸变系数。和有外在参数位置,相机对对象的定位。使用估计的参数,我们可以正确的镜头的图像从任何可能存在的扭曲。

相机标定是一个非常常用的技巧,和许多计算机视觉应用。例如,作为预处理步骤正确图像去除透镜畸变问题,或者当试图建立一个全景的缝合在一起的多个同样的镜头拍摄的图像。或估算深度时,或接近的对象建立摄像机镜头尤其当使用工作室。在我们的例子中,我们将主要关注使用校准移除扭曲图像帮助精确测量像素大小,和真实世界的单位。

现在,让我们去MATLAB,看看如何解决这个问题。这是图片,我们会处理的。如您所见,这张图片有一些种类,和其他一些对象图像的底部部分。和图像的顶部,我们有一个棋盘模式。所以棋盘模式是必不可少的两件事。一个,是能够完成摄像机标定。第二,是真的把这张照片定位,和任何其他扭曲,倾斜可能存在的形象。

让我们继续进行第一步,这是相机校准。所以进行相机标定,我将使用相机校准器应用可以通过计算机视觉的工具箱。得到,我将应用程序选项卡。这在图像处理,计算机视觉部分,我可以访问摄像机校准器应用。让我们把。

所以第一步在相机校准器应用,是把我们要使用的图像的校准步骤本身。所以,我点击添加图片。在这里,我可以选择我要的图片使用我的校准步骤。在这个例子中,我使用七个图像。但通常,10到20图片在钻的情况下建议。也在这里,它要求你对棋盘的大小广场,它会使用的校准过程。我知道每平方在棋盘模式是约20毫米。

提供,然后应用程序,并开始看图片,然后开始检测的支票簿。然后,它提供了检测结果。这里,你可以看到它已经发现在所有六个棋盘,和七个图像。它说它会拒绝的一个图像。所以我们会说好的。然后现在,它展示了我六个图片,它会使用的校准过程。

这里是结果。你可以看到它已经探测到棋盘图中的点在每一个图像。现在,接下来我要做的是能够看一些选择的相机校准器应用。这里的第一件事,是相机模型。我可以选择一个标准镜头、鱼眼、或广角镜头。在我的例子中,它是一个标准镜头。所以我要保持我的默认选择。

我也可以选择帮助我提高我的参数估计。为此,我有,我可以选择径向畸变系数。径向畸变通常是你所看到的镜头的边缘,沿着光心。你想要纠正这些专为广角镜头扭曲。你也可以计算、倾斜和切向畸变,如果你选择。现在,我要保持这些选项在违约。,接下来,我要点击校准按钮。这个现在应该继续,启动校准过程,并给我一些结果。

首先在这里我想告诉你,是预测错误。正如您可以看到的,复制错误通常是校准错误。我们要确保我们保持较低的误差值。因此,方法就是消除离群值。在这种情况下,棋盘的第二图像绝对是略高于整体意思错误。我要选择删除,然后珍惜剩下的5个图片。现在,你可以看到,我已经删除了图片,我有一个更好的整体平均误差约0.57像素。之前,它是大约0.63像素。这不是非常不同,但这是努力改善你的校准结果的过程。

在这之后,我可以继续,相机标定参数导出到MATLAB工作区。和我要保存的变量称为相机参数。现在,你知道,如果你是要做这款相机手动校准过程,它可能变得很复杂,又丑。相机校准器应用有助于使整个工作流非常方便,大方而不被校准过程的专家。它可以自动检测到棋盘点,它允许您使用一个不同的各种相机模型,标准镜头,或直角镜片。它也自动校准图片给你,然后使这些结果可用在MATLAB环境中继续,并使用它进行进一步分析。

好的。现在我们已经完成了摄像机标定过程,和我有相机参数保存为垫文件,我们可以继续,看到如何使用相机参数undistort硬币的形象。然后,使用无畸变的图像如此硬币大小的测量。我的最终目标是识别根据硬币大小,并找到所有硬币的总价值的形象。现在,让我们看看这张图片。

这是形象。如您所见,它包含了硬币,和其他一些对象在底部一半的形象。在上半部分和棋盘模式。现在,棋盘模式是非常重要的在解决这个问题。我们会更详细。这张图片需要纠正,或无畸变的使用我们从摄像机标定摄像机参数的过程。这样,图像是完全免费的,没有任何进一步扭曲在继续之前。要做到这一点,我要加载摄像头对第一图像,然后使用undistort形象从计算机视觉的工具箱函数正确的图像。让我们运行部分,并查看输出。

在我们的例子中,未失真的图像看起来不非常不同。但是如果我们有一个图像,使用广角镜头拍摄,就会注意到一个undistortion后显著差异。接下来,我开始检测之前硬币,我必须确保所有测量它们的像素在现实世界的图像具有相同像素单元的因素,这是一个非常重要的一步跨图像进行准确的测量。为此,我们必须把原始图像使用参考棋盘模式,因为我们知道这是现实世界的维度。这种转变将确保像素测量现实世界是统一在整个图像。

现在,让我们看看这个变换是如何工作的。我要首先确定使用检测棋盘的棋盘图点分功能,可在计算机视觉的工具箱。让我们这些点在图像显示。接下来,使用棋盘图我知道的信息,如有多少正方形沿行,列,我可以确定侦探棋盘角点的区域。然后,我们会发现角落里的近似位置的新飞机将消除任何可能存在的透视投影由于相机的角度包含棋盘的平面模式,和硬币。

我们可以使用这些新型的点在一个变量称为basePts。让我们运行部分,看到底点的角点。现在,使用基本的点作为参考,我们会发现我们需要项目的变换矩阵图像平面上的点所代表的基地。和我们使用fitgeotrans函数图像紧迫的工具箱。这返回一个变换矩阵,我可以用它来de-warp使用imwarp函数图像。让我们运行部分,看看输出。

这是一个改变了的形象。所以这张照片是现在准备进行准确测量。现在,我有一个转换图像包含硬币,接下来我需要做的就是检测图像中的硬币,除了圆形物体。所以在这一节中,我首先将转换后的图像转换为二进制使用imbinarize函数。我在这里有一个滑块调整阈值。通过这种方式,我可以获得期望的结果从一个二进制输出。然后,我用imfindcircles找到圈子,来自于图像处理工具箱找到图像中的硬币。

正如你所看到的,我这里有几个参数。和我在这里有一个滑块调整敏感性参数,拿起只有最强的圆圈代表硬币图像。你可以了解更多关于这些imfindcircles函数的其他参数指的帮助信息。一旦我发现圈子里,我知道中心的像素坐标,和半径,我将使用viscircles硬币上显示这些圆形区域形象。让我们运行这一节,看看结果。

正如你所看到的,硬币被检测到。它错过了一个硬币。所以我可以回到我找到圈子,并增加敏感性通过调整滑动条来确保我所有的硬币检测。这里有一点要注意,就是imfindcircles圆不是一个非常健壮的技术等检测问题。我们假设这里的硬币是唯一圆形图像中的对象。还等待光照条件,圆的检测可能并不总是管用。在这种情况下,我们将不得不使用一种更健壮的方法使用火车探测器像我们讨论了在卡检测的例子来检测图像中的硬币。

现在我们发现硬币图像中区域,我知道硬币的大小,像素值,接下来,我将不得不计算真实世界硬币大小的单位。要做到这一点,我首先需要知道是现实世界的像素单位因素,然后我可以使用计算真实的世界在毫米大小,硬币的半径。所以要做到这一点,我要再次使用,棋盘模式作为我的参考。我之前将检测棋盘点像,然后计算的大小广场模式中的像素。我知道的平方大小的棋盘模式是20毫米。所以使用,我可以计算像素毫米因素这个形象。让我们运行部分,并查看输出。

这里是像素使用棋盘毫米因素。现在使用这个像素毫米因素与硬币,硬币大小和像素,我可以计算在毫米大小。像棋盘的大小广场的,我们也知道真正的硬币的半径类型在我们的形象。在我们的例子中,这些都是美分,硬币,季度。

所以在这里的下一部分,我找到了三个硬币的像素大小类型使用真正的大小值,和我们之前计算的像素毫米因子。这是参考,我可以用我的像素值进行比较的圈子,我们早些时候获得图像。然后我可以弯曲每个圆是一分钱,镍,或者季度。

这里,我第一次圆的半径。然后使用柱状图,它是一个MATLAB函数,弯曲的圆硬币像素尺寸作为参考。让我们运行一节看到这些圆圈的分布这三个硬币类型。图中你可以看到,我们有两个圆封存美分,三个硬币,4季度。我再次使用该直方图函数,获取重要的这一次,我显示计数。一旦我的计算图像中每个硬币类型,我可以很容易地计算总额的硬币图像。这是1.17美元的实际价值的硬币图像。这种方式,我们证实硬币测量,这个图片和装箱工作得很好。

最后,我们可以显示最终结果在硬币的形象。注意,我使用viscircles再次在这里,表明不同的硬币类型图像的彩色圆圈。现在,如果我们要测量对象的大小就像一片叶子,也没有非常明确的形状,没有简单的方法来自动化的检测图像中的一个对象?在这种情况下,一旦我们知道图像的像素MM因素包含叶,我们可以使用imdistline可以交互式地测量两个像素之间的距离在叶地区。然后,你可以用它来计算距离在现实世界中使用像素单位毫米因素。

这里,我都是用电脑取代了像素评级在毫米的距离。所以从某种意义上说,我们已经看到,如果我们有一个参考像棋盘模式在任何图像,我们可以计算出像素现实世界单位因素,并以此来衡量任何对象的真实规模或地区的形象。所以我们看到在MATLAB,相机校准器支持标准的应用,和广角镜头。万博1manbetx计算机视觉工具箱提供了一个独立的系列相机校准器应用来帮助调整从一双演播室摄像机拍摄的图像,通常用于深度评估等任务。

这给我们带来了最后的总结。我们已经看到如何开始可以容易使用MATLAB的新计算机视觉。我们看到通过一些例子——MATLAB方便具体来说,检测对象使用现成的功能,和深度上优于探测器,甚至定制他们自己的数据测量现实世界,和图像,使用交互式的校准程序,和对象分析工作流。和迅速提高深度学习的帮助下pre-trained网络,和详细的示例文档。

所以总而言之,如果你想从这里去哪里,这里有一些后续步骤。去计算机视觉工具箱产品页面了解更多关于计算机视觉,它的应用程序,和其他功能,功能的工具箱。如果你想更深入的学习如何使用计算机视觉经验工具箱,注册一个教练培训课程。这也可以作为在线课程。如前所述,还有一个更深的学习。如果你们愿意去探索产品,并开始解决你的问题,今天试用许可证的产品。

正如我们所看到的,有一些基于深度学习对象探测器可用计算机视觉的工具箱。但是也有很多,你可以与深度学习。去深入学习工具箱页面来了解更多关于这种产品,及其广泛的功能。你们中的一些人可能也感兴趣在硬件平台上运行你的计算机视觉算法最终像一个基于arm的覆盆子π,或基于gpu的NVIDIA杰森。去嵌入式视觉与MATLAB解决方案页面了解更多关于这一点,从MATLAB和其他硬件有关履约能力。非常感谢你的注意。