外周动脉疾病是糖尿病的主要并发症，可导致血管狭窄和腿部和足部血流减少。血流减少可导致溃疡和溃疡，愈合缓慢且易受感染。糖尿病的另一并发症外周神经病变会损害感觉，使患者难以进行治疗如果不治疗，这一系列并发症可能导致死亡组织，有时需要截肢。
为了帮助糖尿病患者和类似的疾病在病情恶化之前诊断减少的洪水流量，我在屯特大学的研究小组正在开发一种手持设备来扫描组织并产生实时、增强现实（AR）可视化的血液灌注（图1）。®该设备的算法使用同步定位和映射（SLAM）构建组织及其基础血液循环的三维表示。3D表示通过安装在设备上的AR投影仪以2D形式投影到皮肤表面。
图1。手腕和手部血流的增强现实可视化。
目前，执行类似诊断的临床系统需要花费数万欧元，需要进行临床检查，并且必须由经过培训的技术人员安装、配置和操作。我们的设备将是价格合理的早期原型，成本低于500欧元，适合在家中使用。
获取数据并实现SLAM算法
SLAM算法通常被机器人研究人员用来绘制环境地图并确定机器人在其中的位置。为了简化跟踪，这些算法通常使用角、边和类似的线索，例如门框上的角或人行道的边。我需要SLAM算法来确定设备相对于组织的位置。由于人体没有明显的棱角，我需要修改传统的SLAM算法，根据我的具体应用对其进行裁剪。例如，我训练了深度学习网络来识别可以在连续帧中跟踪的皮肤特征。这些算法在创建皮肤的三维表示以及相对于重建曲面定位相机位置时使用这些特征。
我开始开发我的算法，将来自设备的立体相机、热成像相机和激光灌注成像传感器的图像和数据导入MATLAB。在对图像进行预处理和过滤后，我编写了MATLAB代码来构建图像中组织的3D网格。计算机视觉工具箱™ 大大简化了这个开发阶段，为我提供了校准设备（建立摄像机的相对位置）、执行点跟踪和深度估计以及生成3D点云的功能。
我扩展了算法，将来自其他两个传感器的数据合并到网格上。具体地说，我将来自热成像相机上近红外传感器的血液温度数据和来自激光多普勒传感器的信号模式结合起来，这些信号模式指示循环血流。
实时增强现实投影
我们使用的数字立体相机能够以每秒至少25帧的速度生成图像。由于在系统的实时约束下，每帧包含的信息超过了可以处理的信息量，因此我在MATLAB中实现了一个算法，可以从相机数据中提取所需的信息，同时减少处理工作量该算法使用选定的关键帧为给定的组织区域创建密集的三维重建。一旦重建完成，该算法不会尝试从剩余帧添加更多点，而是仅将这些帧用于摄像机定位。该关键帧方法减少了整个算法的计算需求ile使其能够对皮肤表面进行密集的重建，这将最终帮助医生做出更准确的诊断。
算法的所有主要阶段数据采集和过滤、定位、映射和AR投影都在我的笔记本电脑上的MATLAB中实时运行。为了创建AR投影，算法计算从投影仪的角度可以看到的3D结构的2D图像，然后将该图像发送到AR投影仪，该投影仪将其显示在患者皮肤表面上。
深度学习模型和计划的增强
我们已经演示了一个原型系统，能够实时投影血流循环的增强现实表示。我们的长期目标是为糖尿病患者提供一个系统，该系统可以在血液循环减少变得可见之前检测到血液循环减少。我正在用MATLAB开发深度学习模型，使用热成像和灌注数据对血流不良的组织区域和血流正常的组织区域进行分类，甚至在肉眼可见任何变化之前。虽然这些深度学习模型的早期结果很有希望，但训练数据集（仅50名患者）太小，我们无法得出明确的结论。
在我的研究中使用MATLAB的最大优势之一是能够使用单一平台进行项目的所有方面，包括图像处理和计算机视觉、SLAM和深度学习。当我们从一个原型转移到一个生产就绪的系统时，我计划使用MATLAB编码器™ 为GPU生成代码，GPU将在设备本身而不是笔记本电脑上执行实时处理，而深度学习算法将设备在云中离线收集的数据分类。
我的团队继续对系统进行改进，以支持家庭使用，即使我们正在探索该技术的其他应用以及合并新成像源的潜力。例如，我们正在万博1manbetx努力确保该设备在一系列照明条件下以及在一系列皮肤色素沉着情况下运行良好。我们也在考虑增强算法，以使用MRI系统的数据，并通过让医生在插入活检针或执行其他手术程序之前通过AR可视化内部结构，帮助医生制定手术计划。
