立体声视频深度估计

打开直播脚本

此示例显示如何检测使用校准立体声相机拍摄的视频中的人员，并从相机确定其距离。

加载立体相机的参数

加载立体塔纳米仪对象，这是校准相机使用或立体帕拉匹配剂应用程序或者估计估计函数。

加载stereparameters对象。负载('handshakesteoparams.mat'）;％可视化相机外在。showExtrinsics (stereoParams);

图中包含一个坐标轴。标题为“外部参数可视化”的轴包含32个类型为patch、text、line的对象。

创建视频文件阅读器和视频播放器

创建用于读取和显示视频的系统对象。

videoFileLeft =“handshake_left.avi”；videoFileRight ='handshake_right.avi'；ReaderLeft = Videoreader（VideoFileLeft）;Readerright = Videoreader（VideoFileright）;玩家= Vision.videoplayer（'位置'560年[20200740]);

读取和修复视频帧

为了计算视差和重建三维场景，必须对左右摄像机的帧进行校正。校正后的图像具有水平极线，并行对齐。通过将匹配点的搜索空间缩小到一维，简化了视差的计算。矫正后的图像也可以组合成一个浮雕，可以使用立体红青色眼镜观看，以获得三维效果。

frameLeft = readFrame (readerLeft);frameRight = readFrame (readerRight);[frameLeftRect, frameRightRect] =..．rectifyStereoImages (frameLeft frameRight stereoParams);图;imshow (stereoAnaglyph (frameLeftRect frameRightRect));标题(纠正视频帧的）;

图中包含一个坐标轴。标题为“矫正视频帧”的轴包含一个类型为图像的对象。

计算差异

在矫正后的立体图像中，任意一对对应的点都位于同一像素行上。对于左边图像中的每个像素计算到右边图像中相应像素的距离。这个距离称为视差，它与相应的世界点到相机的距离成正比。

FrameLeftGray = RGB2GRAY（FRAMELEFTRECT）;fraMerightGray = RGB2GRAY（FRAMERIGHTRECT）;disitymap = disityysgm (frameLeftGray, frameRightGray);图;imshow（DisparityMap，[0,64]）;标题(“差距地图”）;colormap飞机彩色栏

图中包含一个坐标轴。标题为视差贴图的轴包含一个类型为图像的对象。

重建三维场景

重建与视差图的每个像素对应的点的三维世界坐标。

points3D = reconstructScene(disparityMap, stereoParams);%转换为米并创建一个pointCloud对象点3d = point3d ./ 1000;ptcloud = pointcloud（point3d，'颜色', frameLeftRect);％创建流云云查看器Player3D = PCPlayer（[ -  3,3]，[-3,3]，[0,8]，'verticalaxis'，'是'，..．'verticalaxisdir'，'下'）;想象点云视图(player3D ptCloud);

数字云播放器包含轴。轴包含类型散射的对象。

检测左侧图像中的人

使用愿景。PeopleDetector用于检测人的系统对象。

％创建人员探测器对象。限制最小对象大小％ 速度。Peopledetector = Vision.peopledetector（“MinSize”，[166 83]）;％探测人。bboxes = peopledetector.step（frameleftgray）;

确定每个人到相机的距离

找到每个被检测人质心的三维世界坐标，并计算质心到摄像机的距离，单位为米。

％找到了检测到的人的质心。Centroids = [round（bboxes（:, 1）+ bboxes（:,3）/ 2），..．圆形（Bboxes（:,2）+ Bboxes（:,4）/ 2）];找到质心的三维世界坐标。centroidsIdx = sub2ind(size(disparityMap)， centroids(:， 2)， centroids(:， 1));X = point3d (:，:， 1);Y = point3d (:，:， 2);Z = point3d (:，:， 3);centroids3d = [x（centroidsidx）';Y（Centroidsidx）';z（centroidsidx）'];求距离摄像机的距离，单位为米。dists = sqrt（总和（Centroids3d。^ 2））;显示检测到的人和他们的距离。标签= cell(1, numel(dists));为I = 1:numel(dists)标签{I} = sprintf(“% 0.2 f米”，dists（i））;结束图;imshow (insertObjectAnnotation (frameLeftRect,'矩形'，bboxes，标签））;标题(检测到人的）;

图中包含一个坐标轴。标题为Detected People的轴包含一个类型为image的对象。

处理剩下的视频

应用上述步骤以检测人们并在视频的每一帧中对相机测量它们的距离。

尽管hasFrame (readerLeft) & & hasFrame (readerRight)％读取框架。frameLeft = readFrame (readerLeft);frameRight = readFrame (readerRight);％纠正了帧。[frameLeftRect, frameRightRect] =..．rectifyStereoImages (frameLeft frameRight stereoParams);%转换为灰度。FrameLeftGray = RGB2GRAY（FRAMELEFTRECT）;fraMerightGray = RGB2GRAY（FRAMERIGHTRECT）;％计算差异。disitymap = disityysgm (frameLeftGray, frameRightGray);％重建3-D场景。points3D = reconstructScene(disparityMap, stereoParams);点3d = point3d ./ 1000;ptcloud = pointcloud（point3d，'颜色', frameLeftRect);视图(player3D ptCloud);％探测人。bboxes = peopledetector.step（frameleftgray）;如果~ isempty (bboxes)％找到了检测到的人的质心。Centroids = [round（bboxes（:, 1）+ bboxes（:,3）/ 2），..．圆形（Bboxes（:,2）+ Bboxes（:,4）/ 2）];找到质心的三维世界坐标。centroidsIdx = sub2ind(size(disparityMap)， centroids(:， 2)， centroids(:， 1));X = point3d (:，:， 1);Y = point3d (:，:， 2);Z = point3d (:，:， 3);[X(centroidsIdx)， Y(centroidsIdx)， Z(centroidsIdx)];求距离摄像机的距离，单位为米。drawtext (sum(entroids3d .^ 2, 2));显示探测到的人和他们的距离。标签= cell(1, numel(dists));为I = 1:numel(dists)标签{I} = sprintf(“% 0.2 f米”，dists（i））;结束dispframe = InsertObjectAnnotation（FrameLeftrect，'矩形'，bboxes，..．标签);别的dispframe = frameftrect;结束%显示帧。步骤(球员,dispFrame);结束