2005年，当Carola-Bibiane Schönlieb开始攻读数学博士学位时，她最初的项目之一就是帮助修复维也纳的一幅中世纪壁画。这幅画曾经被藏在一间旧公寓的墙壁下，现在它的残骸上布满了白洞，这是几年前拆除墙壁造成的损坏。Schönlieb的修复工具不是油漆、溶剂或树脂，而是算法。“维也纳大学的一些管理员已经开始对它进行物理修复，”Schönlieb说。“然后我们就开始数字化了。”
MACH计划结合了艺术史学家、文物保护者、古典主义者、中世纪主义者和数学家的专业知识，以推进文物修复和考古学。
在拍摄了受损壁画的照片后，Schönlieb研究了一些算法，可以用这些照片来填补这幅画缺失的、受损的部分，创造出原始壁画可能看起来的数字模型。当时，只有少数几篇论文描述了数学家和文物保护者如何合作修复艺术品。文物保护人员和艺术历史学家刚刚开始将他们的档案数字化，用机器保存绘画、手稿和陶器。
中世纪壁画的一部分，曾经隐藏在维也纳公寓的墙壁后。图片来源:马赫。
Schönlieb现在是剑桥大学应用数学教授，他使用图像分析和处理来修复和保护艺术品。目前，她与其他数学家和人文专家一起研究数学在文化遗产中的应用(马赫)倡议。该倡议结合了艺术史学家、文物保护者、考古学家、中世纪学者和数学家的专业知识，以推进文物修复和物质文化研究。
在他们目前的项目“揭开隐形面纱”中，MACH团队使用了MATLAB®通过算法对罗马陶器进行分类，分析绘画的横截面，让学者们能够看到文物之间的新关系，并以数字方式修复过于精致的彩绘手稿，而不适合进行物理修复。项目重点的这三个领域已经酝酿了数年。
Re-Illuminating手稿
马赫合作始于2013年，当时Schönlieb在该大学做了一场关于数字图像恢复的演讲。剑桥菲茨威廉博物馆(Fitzwilliam Museum)的工作人员参加了此次活动，该博物馆以古今艺术品为特色。他们认为Schönlieb的方法可以应用到他们的工作中。
当时，菲茨威廉博物馆(Fitzwilliam Museum)的手稿和印刷书籍的保藏人，在听到Schönlieb的图像修复演讲时，一直在寻求非侵入式的手稿修复方法。她找到Schönlieb，建议他们一起工作。那就是马赫项目诞生的时候。
当面对损坏的绘画和文物时，保护人员面临两难的境地。虽然他们可以选择将一件物品恢复到原来的样子，但损坏本身可以记录一件物品的历史。例如，中世纪的彩绘手稿是手写的书，写在羊皮纸上，并有彩绘装饰，通常包括黄金或白银等贵重金属。在某些情况下，手稿可能被故意删除或添加油漆，以消除所有权的标记，或掩盖一个冒犯的形象。
“使用虚拟和数学方法，可以让你保持(发光的手稿)原来的样子，保留那段历史，并提供一个恢复的、原始的版本，它可能看起来像什么。”它让你有机会两全其美。”
苏珊娜·雷诺兹，菲茨威廉博物馆馆长
“重建对我们有什么好处，又有什么损失?”菲茨威廉博物馆手稿和印刷书籍部馆长苏珊娜·雷诺兹问道。雷诺兹是MACH小组的成员，从事中世纪彩绘手稿的研究。
细节。
修复领域。
最终结果。
大面积破损的手稿被数字化修复。图片:©剑桥菲茨威廉博物馆。
插图手稿在修复时尤其成问题。与其他形式的绘画相比，它们很少被修复。与雷诺兹、Schönlieb和剑桥大学应用数学和理论物理系以及菲茨威廉博物馆的助理研究员西蒙·帕里索托(Simone Parisotto)合作，正在开发一款应用程序，以解决“揭开隐形面纱”项目的一个分支中的这些挑战。
这款应用程序是为保护人员设计的，使用MATLAB开发，使用图像处理技术来识别损坏，并虚拟地重建手稿中的图像。它依赖于修补，这个词最初指的是对一幅画进行物理重建。在数学领域，inpainting指的是用数字方式还原图像。
利用深度学习和偏微分方程，MACH小组的程序可以填补受损手稿的空白，并预测不同修复途径的结果。用户用来自相同或相关手稿的例子训练算法——越多越好——然后算法重新构建图像中需要恢复的缺失内容。
雷诺兹说:“使用虚拟和数学方法可以让你保持物体的原样，保留它的历史，并提供一个恢复的、原始的版本，它可能看起来像什么。”“它让你有机会两全其美。”
除了修复，数学方法不仅可以数字化档案，还可以利用人工智能使档案数据对管理员、艺术史学家和考古学家更有用。
集群罗马陶器
“揭开隐形面纱”的第二个焦点的想法起源于2015年，当时剑桥大学古典文学高级讲师亚历山德罗·劳纳罗带着一个问题来到Schönlieb。劳纳罗是一名考古学家，专注于罗马时期，一直在意大利西部挖掘遗址。几乎总是这样，他发现了大量的普通陶器，这种陶器用于日常工作，如做饭，但面临着艰巨的任务，分析几千个陶器的形状，罐边和底座的碎片。
“我遇到了一个考古问题，要分析大量的证据，”劳纳罗说。虽然有系统和全面的目录，帮助考古学家分析更精致的罗马陶器(精美器皿)，但没有集中在日常陶器上，他想了解更多。
他说:“有些人可以尝试所有这些(陶器碎片)形状，但这非常乏味。因为我们是人，我们会犯错，我们有时会累，我们可能会错过一些东西。算法不会疲劳。”
剑桥大学应用数学教授Carola-Bibiane Schönlieb说
陶器，顾名思义，是考古遗址中发现的大部分陶器。但考虑到这些陶器的形状千变万化，以及这些发现的数量之多，要弄清楚不同地点不同陶器类型之间的关系一直是一项挑战。
劳纳罗说:“因为普通物品代表着日常物品，它让我们能够看到比雕像、马赛克或博物馆里漂亮的彩绘壶更大比例的古代人口。”创建一个目录来记录这些物品和它们之间的关系，可以进一步提供宝贵的见解，以了解过去文明的日常生活。“但这不是一个人能轻易做到的，”他说。
Schönlieb和Parisotto认为他们可以帮助Launaro解决这个问题。Schönlieb表示:“有些人可以遍历所有这些形状，但这非常乏味。”“因为我们是人，我们会犯错，我们有时会累，我们可能会错过一些东西。算法不会疲劳。”
Parisotto和Schönlieb求助于MATLAB创建了劳纳罗设想的目录。2016年，他们试用了一种系统，旨在将一块陶器的侧面图与数据库中类似的图像进行匹配。考古学家根据其侧面形状对古代陶器进行分类，认为相似的形状表明了年代和功能关系。
古壶是根据侧面图所代表的形状来分类的。假设相似的概要文件是相关的。图片来源:马赫。
但是效果并不好。参考陶器的图像没有很好地组织。团队需要退后一步，自己做这个组织。劳纳罗说:“考虑到这可能涉及数千种独特形状的陶器，我们需要利用计算机的处理能力。”
为了填充和组织他们自己的陶器数据库，该团队添加了数千张图片，以及一些普通陶器的黑白简介。到2020年底，大约6000个陶器剖面将被包括在内。Parisotto正在使用无监督深度学习算法对相关陶器形状进行分组或聚类。该程序创建了分层的树状图，将陶器碎片分组，以便更好地向考古学家展示不同类型之间的关系。“我们的想法是从可用的对象中提取相关的特征，”Parisotto说，“并找到连接不同特征的关系。”
通过确定常用软件类型之间的关系，考古学家可以更好地绘制它们在空间和时间上的发展和分布。这些关系可能会为贸易、定居模式或饮食习惯的重要发展提供线索。MACH小组仍在开发和测试这个应用程序，但是，“最终的想法是创造一个工具，使考古学家能够更有效地解释他们挖掘和研究的地点，”劳纳罗说。
油漆碎片上的美术课
MACH团队的研究助理、训练物理学家卡西亚·塔冈斯卡-哈兹巴比奇(Kasia targonka - hadzibabic)正在进行一项“揭开隐形物体”的子项目，该项目借鉴了与罗马陶器数据库相似的原理。但不是陶器，Targonska-Hadzibabic正在与Parisotto合作，建立一个平台，用于对油漆薄片横截面的数字图像进行分类和比较。
在艺术品保护中，研究一幅画中小碎片的横截面可以揭示艺术家是如何创作这幅作品的。Targonska-Hadzibabic说:“它可以告诉你艺术家使用的技术，以及这幅画是如何绘制的。”
MACH团队还创建了一个系统，可以识别来自不同画作、艺术家或时期的油漆芯片横截面之间的联系，从而找出相似之处。
传统上，保管员会取下这些横截面，用树脂保存，然后在显微镜下检查不同的油漆层。近距离观察，一个树脂覆盖的油漆碎片看起来像一个彩色的多层三明治。Targonska-Hadzibabic在艺术保护方面的同事一直在将他自己的颜料碎片横截面档案数字化，他想看看除了艺术家个人的技术之外，这些颜料碎片还能揭示什么。
从早期绘画大师的作品中画出横截面。图片来源:马赫。
Targonska-Hadzibabic与Schönlieb合作，创建了一个系统，可以识别来自不同绘画、艺术家或时间时期的横截面之间的联系。横截面上的图层不是统一的，不仅颜色不同，纹理、混合和拍摄条件的一致性也不同。与罗马陶器项目一样，该团队正在使用MATLAB中的机器学习技术，根据其特征将10,000多张横截面的数字图像聚类成有意义的组。
根据Targonska-Hadzibabic的说法，他们还不确定这些算法可能会揭示什么。她说:“这是一个迭代的过程，依赖于与文物保护人员的交流，从艺术史的角度寻找重要的相似之处。”
但通过他们的应用程序，他们希望管理员能够将源横截面中的层与数据库中其他横截面中的类似补丁进行比较。不仅应用程序用户可以看到这些结果，Targonska-Hadzibabic还在努力确保管理员可以根据他们的需要轻松修改结果。
在这个领域
来自考古、艺术保护和艺术历史专家的反馈对指导这些项目至关重要。“只有专家才能引导数据科学领域的人走上正确的道路，”帕里索托说。
Fitzwilliam的MACH合作者刚刚开始测试这些应用程序，但他们的目标是向所有学者和管理员发布这些资源，扩大他们现有的工具箱。对劳纳罗来说，普通陶器参考目录将有助于更详细地研究以前被忽视的考古学方面。
雷诺兹表示，MACH的数字手稿修复工具不仅可以帮助文物保护人员，还可以扩大教学和公众参与的选择。雷诺兹说:“它有望对教学非常有用，因为它将使你能够以最好的方式处理物体的图像。”该工具还可以扩大博物馆的虚拟产品，向公众展示真实的文物和数字“原始”。
Targonska-Hadzibabic表示，编制一个能够识别样本之间联系的绘画横截面数据库，可以帮助专家识别新的绘画方法，并揭示艺术家和艺术品之间此前未知的联系。
然而，这些工具都无法取代人文学科专业人员的工作。“在某种程度上，你需要一个人来解释，”劳纳罗说。“但还有其他事情可以让我们的工作更简单、更直接，机器可以做到。”
标题图片:©剑桥菲茨威廉博物馆。
