利用增强现实和深度学习可视化和诊断血液循环减少

外周动脉疾病是糖尿病的主要并发症，会导致血管狭窄，腿部和足部的血液流动减少。这种血液流动减少会导致溃疡和溃疡，愈合缓慢，容易感染。周围神经病变是糖尿病的另一种并发症，会损害患者的感觉，使患者难以评估病情的严重程度。如果不及时治疗，这一连串的并发症会导致组织死亡，有时需要截肢。

为了帮助患有糖尿病和类似疾病的患者在病情恶化之前诊断出血流减少，我在特温特大学的研究小组正在开发一种手持设备，可以扫描组织并产生实时的增强现实(AR)血液灌注可视化(图1)。我开发了MATLAB^®该设备的算法使用同步定位和测绘(SLAM)来构建组织及其底层血液循环的3D表示。通过安装在设备上的AR投影仪，3D图像以2D形式投射到皮肤表面。

目前，执行类似诊断的临床系统需要花费数万欧元，需要临床访问，并且必须由训练有素的技术人员安装、配置和操作。我们的设备价格适中——早期原型的价格不到500欧元——适合家庭使用。

数据获取与SLAM算法实现

SLAM算法通常被机器人研究人员用于绘制环境地图，并确定机器人在其中的位置。为了简化跟踪，这些算法通常使用角落、边缘和类似的线索——例如门框的角落或人行道的边缘。我需要SLAM算法来确定装置与组织的关系。由于人体没有明显的棱角，我需要修改传统的SLAM算法，使其适合我的特定应用程序。例如，我训练了深度学习网络来识别可以在连续帧中跟踪的皮肤特征。算法在创建皮肤的3D表示以及在定位与重建表面相关的相机位置时使用这些特征。

我开始开发我的算法，从设备的立体摄像机、热成像摄像机和激光灌注成像传感器导入图像和数据到MATLAB中。在对图像进行预处理和滤波后，我编写MATLAB代码构建了图像中组织的三维网格。计算机视觉工具箱™极大地简化了这一开发阶段，为我提供了校准设备(建立摄像机的相对位置)、执行点跟踪和深度估计以及生成3D点云的功能。

我扩展了算法，将其他两个传感器的数据合并到网格上。具体来说，我结合了热成像相机上近红外传感器的血液温度数据和激光多普勒传感器的信号模式，这些信号模式表明循环血液流动。

实时增强现实投影

我们使用的数码立体相机能以至少每秒25帧的速度拍摄图像。由于每一帧所承载的信息超过了系统的实时性限制，我在MATLAB中实现了一种算法，从相机数据中提取所需的信息，同时减少了处理工作量。该算法使用选定的关键帧为给定的组织区域创建密集的3D重建。一旦重建完成，算法不会尝试从剩余的帧中添加更多的点，而是仅将这些帧用于相机定位。这种关键帧方法减少了整个算法的计算需求，同时使其能够生成皮肤表面的密集重建，这最终将帮助医生做出更准确的诊断。

算法的所有主要阶段——数据采集和过滤、定位、映射和AR投影——都在我笔记本电脑上的MATLAB中实时运行。为了创建AR投影，算法计算从投影仪的角度可见的3D结构的2D图像，然后将图像发送到AR投影仪，后者将其显示在患者的皮肤表面。

深度学习模型和计划增强

我们已经演示了一个原型系统，能够实时投影血流循环的增强现实表示。我们的长期目标是为糖尿病患者提供一种系统，可以在血液循环减少之前就发现它。我正在MATLAB中开发深度学习模型，使用热成像和灌注数据对血液流动不良的组织区域和血液流动健康的组织区域进行分类，甚至在肉眼可见任何变化之前。虽然这些深度学习模型的早期结果很有希望，但训练数据集(仅来自50名患者)太小，我们无法得出明确的结论。

在我的研究中使用MATLAB的最大优势之一是能够使用单一平台进行项目的所有方面，包括图像处理和计算机视觉、SLAM和深度学习。当我们从原型转向可投入生产的系统时，我计划使用MATLAB Coder™为GPU生成代码，它将在设备本身而不是笔记本电脑上执行实时处理，同时深度学习算法对云端设备离线收集的数据进行分类。

我的团队继续对系统进行改进，以支持家庭使用，即使我们探索了该技术的其他应用程序，以及整合新的成像源的潜力。万博1manbetx例如，我们正在努力确保该设备在一系列光照条件和一系列皮肤色素下都能正常运行。我们还在考虑增强算法，以使用来自MRI系统的数据，并协助医生进行手术计划，使他们能够在插入针进行活检或进行其他外科手术之前通过AR可视化内部结构。