麻省理工学院CSAIL研究人员开发视频处理算法以放大微小的动作和颜色的变化

视频摄像机不是用于检测分钟颜色变化或振动的最佳传感器，其中许多在视频记录中出现在录像中的强度变化极小。为了检测这些微妙的信号，该团队需要实现将各个像素测量聚合的空间过滤算法。它们还需要时间过滤算法，以分析这些聚合随时间变化的变化。

在开发初始算法之后，该团队需要通过使用多个计算核来加速其执行来处理多个帧或并行测试算法的多个配置。此外，研究人员希望与其他愿景研究人员分享他们的代码，并使任何人能够使用他们的方法处理视频。

CSAIL研究人员在MATLAB中开发了视频倍率算法，将它们加速了并行计算工具箱™，并使用MATLAB Compiler™部署它们。

使用图像处理工具箱™的MATLAB工作，该团队实现了初始空间分解算法，该初始空间分解算法分析了几个尺度的每个像素周围的区域，以在帧中的该点产生精确的颜色测量。为了提高精度，稍后将该算法更新以使用从应用于帧的本地小波计算的图像子带的（空间）阶段的变化而不是直接使用颜色。

空间分解算法的一部分是基于另一所大学的研究员编写的代码。该团队将此代码纳入了Matlab和MEX函数的代码，进入其MATLAB实现。

对于临时过滤算法，团队使用MATLAB和DSP系统工具箱™将傅立叶变换应用于通过空间分解产生的信号，并将其它通带滤波器应用于通过空间分解产生的信号。这种过滤使算法通过专注于研究人员想要放大或分析的特定频率范围来降低噪声来降低噪声。

在算法开发期间，团队在MATLAB中生成的绘图以可视化信号。

使用并行计算工具箱，团队通过在24核计算机上同时处理多个帧来加速算法的执行。它们还与快速测试和调整算法参数并行进行多次实验。

在与其他研究人员分享结果和MATLAB代码之后，CSAIL研究人员使用MATLAB编译器来创建其算法的独立版本^®，Linux^®，和Mac OS X操作系统。任何人都可以使用这些版本，即使它们没有安装MATLAB也是如此。

• 与其他研究人员合作改善。“计算机视觉社区中的许多研究人员使用Matlab，”鲁宾斯坦说。“MATLAB代码通常更容易读取比C ++，因此由项目启发的学生或其他研究人员可以下载代码并了解它。很简单，我们可以编制任何人可以使用的可执行文件。“
• 多个实验并行运行。“我们研究的大部分是尝试和应用不同的想法和算法来测试哪个工作更好，”鲁比斯坦说明。“并行计算工具箱为我们提供了一种非常简单，可访问的方式，以并行运行多个实验或并行处理多个帧 - 通常只是通过将循环更改为Parforloop。”
• 与其他编程语言集成。“我们使用的许多MATLAB功能为我们的需求提供了足够的性能，”鲁宾斯坦说。“如果我们确实需要加快算法的特定部分，MATLAB可以灵活地将其写入C ++并将其作为MEX函数，可以方便地从MATLAB代码调用。”