外周动脉疾病是糖尿病的主要并发症，导致血管缩小，并将血液流降低到腿部和脚。这种降低的血液流动可导致溃疡和溃疡慢愈合和易感染。外周神经病变，糖尿病的另一种并发症，损害感觉，使患者难以评估其病情的严重程度。留下未经处理的，这种并发症链可以导致死亡组织有时需要截肢。
为了帮助患有糖尿病和类似条件的患者诊断洪水在条件严重之前，我的Twente大学的研究小组正在开发一种扫描组织的手持设备，并产生实时，增强现实（AR）血液灌注的可视化（图1）。我开发了matlab.®该设备的算法，用于使用同时定位和映射（SLAM）来构建组织的3D表示及其底层血液循环。通过安装在设备上的AR投影仪将3D表示在2D中投影到皮肤表面。
图1.在手腕和手中增加了血流的现实可视化。
目前，执行类似诊断的临床系统成本成千上万的欧元，需要临床访问，并且必须由培训的技术人员安装，配置和运营。我们的设备将价格实惠 - 早期原型成本低于500欧元 - 以及适合在家中使用。
获取数据和实现SLAM算法
机器人研究人员通常使用SLAM算法来映射环境并确定其中的机器人的位置。为了简化跟踪，例如，这些算法通常使用角落，边缘和类似的线索 - 例如，门框上的角落或人行道的边缘。我需要SLAM算法，可以确定与组织相关的装置的位置。因为人体没有不同的边缘和角落，所以我需要修改传统的SLAM算法，使它们定制到我的特定应用程序。例如，我培训了深度学习网络以识别可以在连续帧中跟踪的皮肤特征。当创建皮肤的3D表示时，算法使用这些特征，并且当在与重建表面相关的相机位置时。
我开始通过将设备的立体声相机，热成像摄像机和激光灌注成像传感器导入Matlab的图像和数据来开发我的算法。在预处理和过滤图像之后，我写了MATLAB代码来构建图像中的组织的3D网格。计算机Vision Toolbox™大大简化了此开发阶段，为我提供了用于校准设备的功能（建立相机的相对位置），执行点跟踪和深度估计，并生成3D点云。
我扩展了算法以将数据从其他两个传感器覆盖并将其覆盖到网状物上。具体地，我将血液温度数据与来自热成像相机的近红外传感器的血液温度数据合并，来自指示循环血流的激光多普勒传感器的信号模式。
实时增强现实投影
我们使用的数字立体声相机可以以每秒至少25帧的速率产生图像。因为每个帧携带多于系统的实时约束的信息，所以我在MATLAB中实现了一个算法，其在减少处理工作负载的同时从相机数据中提取所需信息。该算法使用所选关键帧为特定组织区域创建密集的3D重建。完成此重建后，算法不会尝试从剩余帧添加更多点，但仅使用这些帧进行摄像机本地化。该关键帧方法降低了整个算法的计算需求，同时使其能够产生皮肤表面的密集重建，这将最终帮助医生做出更准确的诊断。
算法的所有主要阶段 - 数据采集和过滤，本地化，映射和在我的笔记本电脑上实时投影运行。为了创建AR投影，算法计算将从投影机的角度来看可见的3D构造的2D图像，然后将该图像发送到AR投影仪，将其显示在患者皮肤的表面上。
深度学习模型和计划增强
我们已经展示了一种技术系统，能够实时投射血流循环的增强现实表示。我们的长期目标是为糖尿病患者提供一种系统，该系统可以在可见之前检测循环减少。我正在在Matlab中开发深入学习模型，该模型使用热成像和灌注数据，以将组织的区域分类为血液流量差，甚至在肉眼可见任何变化之前，甚至具有健康血液的人。虽然这些深度学习模型的早期结果很有前景，但培训数据集（仅从50名患者）对于我们来说太小，不能吸引明确的结论。
在我的研究中使用MATLAB的最大优点之一是能够为项目的所有方面使用单一平台，包括图像处理和计算机视觉，猛击和深度学习。当我们从原型移动到生产就绪系统时，我计划使用Matlab Coder™为GPU生成代码，这将对设备本身执行实时处理而不是在膝上型计算机上，而深入学习算法分类收集的数据通过云中的设备脱机。
即使我们探索了技术的额外应用以及结合新的成像源的潜力，我的小组继续改善系统以支持家庭使用。万博1manbetx例如，我们正在努力确保该装置在一系列照明条件下运行良好，以及一系列皮肤色素沉着。我们还考虑增强从MRI系统使用数据的算法，并通过通过在插入用于活检或进行其他外科手术之前通过AR可视化内部结构来帮助医生进行手术规划。
