研制一种具有距离门控成像的水下3D摄像机

Jens Thielemann, Petter Risholm, Karl H. Haugholt, SINTEF

水下光学成像有潜力提供比声纳高得多的分辨率图像。然而,这些图像的清晰度取决于水质。在浑浊的水中,主动照明(在光线弱的情况下使用)的原因后向散射,或者水中粒子对相机的光线反射(同样的效果使得在雾中驾驶变得困难)。

为了应对这一挑战,SINTEF与欧盟的合作伙伴共同开发了UTOFIA,一种用于混浊环境的成像系统(图1)。

图1所示。UTOFIA摄像系统。

UTOFIA相机以每秒10-20帧的速度提供3D图像,射程可达15米,在深度达300米的水下,分辨率可达1厘米。它使用距离门控成像(见侧栏)来最小化后向散射的影响,并获得其视场内物体的距离信息(图2)。

图2。左:用UTOFIA相机拍摄的图像,彩色显示距离信息。右图:同一场景的图像,用普通相机拍摄,显示了后向散射的效果。

我们开发了一些算法来处理来自相机的原始数据,并生成3D的、无背散射的图像。我们在一个新的领域工作,我们需要快速测试新的想法。得益于MATLAB的集成环境®在强大的可视化支持下,我们能够尝试40多种不同的方法和技术。万博1manbetx在Python中®或者c++,每一个实现和测试都将花费更长的时间,我们不太可能有时间去测试更多的。

距离选通脉冲成像

距离门控成像不是用恒定的光流照射目标,而是使用频闪激光器产生的纳秒长的光脉冲。从目标物前面的粒子反射回来的光比从目标物本身反射回来的光稍微早一些。我们可以抑制后向散射仅仅通过控制摄像机快门捕捉光线反射的目标和很少的光粒子反射的水(图3)。此外,我们可以准确地确定到目标的距离通过测量单个光脉冲的飞行时间和除以光速。

图3。上图显示了距离门控成像相机。下图:在不同距离拍摄的照片。

初始数据分析和峰值检测

与产生2D像素阵列的标准数码相机不同,我们的相机产生3D立方体阵列,每个立方体上记录的值表示视场中特定位置和与相机特定距离处的反射光强度。为了从相机生成的千兆字节的数据中提取有用的图像,我们的算法必须识别出这些强度值中的峰值(图4)。外部因素会影响峰值的位置,而水中的散射会引入假峰值。这降低了结果图像的清晰度和3D重建的质量。

图4。作为距离函数的强度峰值(中间和底部),在捕获图像的点(顶部)。

为了理解作用的机制,我们对各种水浊度和相机设置的数据进行了广泛的统计分析。这些分析包括建立经验模型的后向散射,研究的性质的前向散射,建模探测器的响应性质。

我们还开发了一个MATLAB应用程序来自动化和控制数据捕获过程(图5)。该应用程序包括控制脉冲扫描的接口元素和一个。net接口,我们用来配置捕获设置和其他相机组件。

图5。MATLAB应用程序用于自动化数据捕获。

开发三维重建算法

摄像头硬件显著地减少了后向散射,但我们知道我们可以在软件中进一步减少它的影响。我们开发了一个跨越浊度的后向散射响应模型,并实现了几种减少后向散射效应的算法。我们在这里探索了许多替代方案,包括同态滤波和直方图均衡化的变化,最后选择非锐化滤波,这也提高了我们的3D性能。此外,我们还开发了用于摄像机标定、3D估计、峰值检测和峰值拟合的算法。

可视化图像数据

一旦我们分析了数据并开发出了3D重建算法,我们就需要与UTOFIA联盟的其他组织分享他们的结果。为此,我们构建了第二个用于可视化UTOFIA图像数据的MATLAB应用程序(图6)。该应用程序包括调节选项和算法参数的控件,包括对比度、聚焦、噪声去除和直方图均衡化。用户可以设置这些参数,并立即在屏幕上看到效果。

图6。应用可视化UTOFIA图像数据。

我们用MATLAB Compiler™打包了一个独立版本,并将其分发给我们的合作伙伴,他们向我们提供反馈和增强请求。使用MATLAB和MATLAB编译器,我们可以在几天内实现他们要求的更改。在C/ c++或类似的语言中实现这些更改将花费数周,甚至数月的时间。

持续发展

我们已经完成了UTOFIA项目的第一阶段,相机的开发及其核心软件。我们现在正在为特定行业的应用对图像和3D数据进行额外的处理,并且正在研究项目的第二阶段:将机器学习和深度学习应用于图像,以识别物体和其他现象。

实时3D数据的提供为改善渔业和水产养殖业的过程,特别是在自动化、定量分析领域开辟了新的可能性。例如,在西班牙的一个水产养殖设施中,我们使用相机来识别和测量红色金枪鱼的长度(图7)。

图7。由UTOFIA摄影机制作的红金枪鱼测量结果。

在挪威的一个研究机构中,我们使用UTOFIA进行行为分析,随着时间的推移跟踪鱼个体,以估计游动速度和模式(图8)。

图8。鱼类生物量和行为模式的可视化。

同时,在相机水产养殖试验中,在低光照和高浊度条件下观察鱼类等海洋生物,进行生物量估算(图9)。

图9。上图:图像覆盖长度测量。下图:用于追踪单个鱼的图像。

传统的水下照相机是无法穿透这种环境的。

2019年出版的


s manbetx 845产品使用

了解更多