从运动结构从两种观点

开立真实脚本

从运动（SFM）结构为从一组2- d的图像的估计场景的3-d结构的过程。这个例子展示了如何从两个图像估计校准的相机的姿势，重建场景向上的3-d结构一个未知的比例因子，然后通过检测已知的大小的物体恢复实际的比例因子。

概述

此示例示出了如何从一个照相机拍摄的一对2-d的图像重构3-d场景使用校准相机校准器的应用。该算法包括以下步骤:

匹配一个稀疏集两幅图像之间的点。有找到两个图像之间的对应点的多种方式。本实施例中使用所述检测第一图像中的拐角detectMinEigenFeatures功能，并跟踪它们变成使用第二图像vision.PointTracker。你也可以使用extractFeatures其次是matchFeatures。
使用估计基本矩阵estimateFundamentalMatrix。
计算相机的使用的运动cameraPose函数。
匹配一个密镶的两幅图像之间的点。使用重新检测点detectMinEigenFeatures以减小'MinQuality'为了得到更多的分数。然后跟踪密集点到第二幅图像使用vision.PointTracker。
使用确定匹配点的3-d的位置三角测量。
检测已知大小的物体。在这个场景中有一个地球仪，其半径是已知10厘米。用pcfitsphere找点云地球。
恢复实际的比例尺，导致一个度量重建。

读一组图像

将一对图像加载到工作区中。

IMAGEDIR =完整文件（toolboxdir（“愿景”）“visiondata”,“upToScaleReconstructionImages”);图像= imageDatastore（IMAGEDIR）;I1 = readimage（图像，1）;I2 = readimage（图像，2）;图imshowpair（I1，I2，“蒙太奇”);标题(“原始图像”);

负载摄像机参数

此示例使用所计算出的照相机参数cameraCalibrator应用程序。这些参数被存储在cameraParams对象，并且包括相机内在和透镜畸变系数。

％负载预先计算照相机参数负载upToScaleReconstructionCameraParameters.mat

消除镜头畸变

透镜畸变会影响最终的重建的精度。您可以从每个使用图像的消除失真undistortImage函数。这个过程拉直由透镜的径向失真弯曲的线条。

I1 = undistortImage（I1，cameraParams）;I2 = undistortImage（I2，cameraParams）;图imshowpair（I1，I2，“蒙太奇”);标题(“图像不变形”);

找出图像之间的点对应

检测好等特点进行跟踪。减少'MinQuality'以检测更少的点，使点更均匀地分布在整个图像中。如果摄像机的运动不是很大，那么使用KLT算法跟踪是建立点对应的好方法。

％检测特征点imagePoints1 = detectMinEigenFeatures（rgb2gray（I1），'MinQuality'，0.1）;%可视化检测点图imshow (I1,“InitialMagnification”，50）;标题(“第一张图片中最坚固的150个角”);持有上情节（selectStrongest（imagePoints1，150））;

％创建点跟踪器跟踪= vision.PointTracker（'MaxBidirectionalError',1'NumPyramidLevels'5);％初始化点跟踪器imagePoints1 = imagePoints1.Location;初始化(跟踪、imagePoints1 I1);跟踪点[imagePoints2, validIdx] = step(tracker, I2);matchedPoints1 = imagePoints1(validIdx，:);matchedPoints2 = imagePoints2(validIdx，:);%可视化通讯图showMatchedFeatures（I1，I2，matchedPoints1，matchedPoints2）;标题(“跟踪特性”);

估计基本矩阵

使用estimateFundamentalMatrix函数来计算基础矩阵，并找到满足极线约束的内围点。

％的估计基本矩阵[fMatrix，epipolarInliers] = estimateFundamentalMatrix（…matchedPoints1 matchedPoints2,“方法”,'MSAC','的numtrials', 10000);发现外极性inliersinlierPoints1 = matchedPoints1（epipolarInliers，:);inlierPoints2 = matchedPoints2（epipolarInliers，:);％显示内点火柴图显示匹配特征(I1, I2, inlierPoints1, inlierPoints2);标题(“纵向窗”);

计算相机姿态

计算对应于两个图像摄影机姿态之间的旋转和平移。注意t是单位向量，因为平移只能按比例计算。

[R, t] = cameraPose(fMatrix, cameraParams, inlierPoints1, inlierPoints2);

重建匹配点的三维位置

使用较低的第一图像中重新检测点'MinQuality'为了得到更多的分数。在第二幅图像中跟踪新的点。方法估计匹配点对应的三维位置三角测量函数，实现了直接线性变换(DLT)算法[1]。将原点放在对应于第一幅图像的照相机的光学中心。

%检测密集特征点imagePoints1 = detectMinEigenFeatures（rgb2gray（I1），'MinQuality'，0.001）;％创建点跟踪器跟踪= vision.PointTracker（'MaxBidirectionalError',1'NumPyramidLevels'5);％初始化点跟踪器imagePoints1 = imagePoints1.Location;初始化(跟踪、imagePoints1 I1);跟踪点[imagePoints2, validIdx] = step(tracker, I2);matchedPoints1 = imagePoints1(validIdx，:);matchedPoints2 = imagePoints2(validIdx，:);％计算相机矩阵用于相机的每一个位置％第一相机位于原点沿着X轴看。因此，其％旋转矩阵是身份，以及它的平移向量为0。camMatrix1 = cameraMatrix(camera, eye(3)， [0 0 0]);camMatrix2 = cameraMatrix(cameraParams, R'， -t*R');%计算三维点points3D =三角形(matchedPoints1, matchedPoints2, camMatrix1, camMatrix2);获取每个重建点的颜色numPixels = size(i1,1) * size(i1,2);重塑(I1， [numPixels, 3]);colorIdx = sub2ind([size(i1,1)， size(i1,2)]， round(matchedPoints1(:，2))，…轮(matchedPoints1 (: 1)));color = allColors(colorIdx，:);％创建点云ptCloud = pointCloud (points3D,'颜色'，颜色）;

显示3-d点云

使用plotCamera函数可视化摄像机的位置和方向，以及pcshow函数来可视化点云。

％可视化照相机的位置和方向cameraSize = 0.3;图plotCamera（'尺寸'，cameraSize，'颜色',“r”,“标签”,' 1 ',“不透明度”, 0);持有上格上plotCamera（'位置't'方向'R'尺寸'，cameraSize，…'颜色',“b”,“标签”,' 2 ',“不透明度”, 0);可视化点云pcshow（ptCloud，“立轴”,'Y','VerticalAxisDir','下',…'MarkerSize', 45岁);%旋转和缩放图形camorbit（0，-30）;camzoom（1.5）;标记坐标轴xlabel（“轴”);ylabel (“轴”);zlabel（z轴的）标题（“按比例重建现场”);

在点云上放一个球体就能找到地球

在点云中通过拟合一个球体到3-D点，使用pcfitsphere函数。

％检测地球globe = pcfitsphere(ptCloud, 0.1);％显示地球表面图（全球）;标题(“估计地球的位置和大小”);持有离

现场度量重建

地球的实际半径为10cm。现在，您可以确定厘米3 d点的坐标。

%确定标度因子缩放因子= 10 / global . radius;％刻度点云ptCloud = pointCloud(points3D *缩放因子，'颜色'，颜色）;T = T *比例因子;以厘米为单位想象点云cameraSize = 2;图plotCamera（'尺寸'，cameraSize，'颜色',“r”,“标签”,' 1 ',“不透明度”, 0);持有上格上plotCamera（'位置't'方向'R'尺寸'，cameraSize，…'颜色',“b”,“标签”,' 2 ',“不透明度”, 0);可视化点云pcshow（ptCloud，“立轴”,'Y','VerticalAxisDir','下',…'MarkerSize', 45岁);camorbit（0，-30）;camzoom（1.5）;标记坐标轴xlabel（“x轴（厘米）”);ylabel (“y轴（厘米）”);zlabel（“z轴(cm)”）标题（“场景的度量重建”);