人工智能揭开了古代文物的秘密
使用深度学习和图像处理来恢复和保存艺术品
2005年，当Carola-Bibiane Schönlieb开始攻读数学博士学位时，她的第一个项目是帮助修复维也纳的一幅中世纪壁画。这幅画的残骸曾被藏在一间旧公寓的墙壁下，上面布满了白洞，这是几年前墙壁被拆除时造成的损坏。Schönlieb的修复工具不是油漆、溶剂或树脂，而是算法。“维也纳大学的一些保护人员已经开始对它进行物理修复，”Schönlieb说。“然后我们开始用数字技术来做这件事。”
MACH计划将艺术史学家、文物保护学家、古典学家和中世纪学者的专业知识与数学家的专业知识相结合，以推进修复和考古学的发展。
在拍摄了受损壁画的照片后，Schönlieb研究了一种算法，可以使用这些照片来填充画作中缺失的受损部分，创建出原始壁画的数字模型。当时，只有少数几篇论文描述了数学家和文物保护人员如何合作修复艺术品。文物保护人员和艺术历史学家刚刚开始将他们的档案数字化，在机器上保存绘画、手稿和陶器。
中世纪壁画的一部分，曾经隐藏在维也纳公寓的墙后。图片来源:MACH。
Schönlieb，现在是剑桥大学应用数学教授，使用图像分析和处理进行艺术修复和保护。目前，她与其他数学家和人文学科专家一起研究数学在文化遗产中的应用(马赫)倡议。该计划将艺术历史学家、文物保护者、考古学家和中世纪学者的专业知识与数学家的专业知识相结合，以推进修复和物质文化研究。
在他们目前的项目“揭开隐形的面纱”中，MACH团队使用了MATLAB®对罗马陶器编目的算法，分析绘画横截面，让学者们看到文物之间的新关系，并以数字方式恢复对物理修复来说过于精致的照明手稿。这三个项目重点领域已经酝酿多年。
Re-Illuminating手稿
MACH的合作始于2013年，当时Schönlieb在大学里做了一个关于数字图像恢复的演讲。剑桥费茨威廉博物馆的工作人员出席了此次活动，该博物馆主要展出从古至今的艺术品。他们认为Schönlieb的方法可以应用到他们的工作中。
当时，菲茨威廉博物馆(Fitzwilliam Museum)的手稿和印刷书籍管理员在听到Schönlieb的图像修复讲座时，一直在寻求非侵入性的手稿修复方法。她找到Schönlieb，建议他们一起工作。这就是MACH项目诞生的时候。
当面对受损的画作和文物时，保护人员面临两难境地。虽然他们可以选择将一件物品恢复到原来的样子，但损坏本身就可以记录一件物品的历史。例如，中世纪的照明手稿是手写的书籍，写在羊皮纸上，装饰有绘画，通常包括金或银等贵金属。在某些情况下，手稿可能被故意去除或添加油漆，以消除所有权的痕迹，或掩盖令人不快的图像。
“使用虚拟和数学方法可以让你保持[照明手稿]的原样，并保留这段历史，并提供一个修复的、原始的版本，让它看起来像什么。它给了你两全其美的机会。”
苏珊娜·雷诺兹，菲茨威廉博物馆馆长
“修复能得到什么?修复又会失去什么?”菲茨威廉博物馆手稿和印刷书籍部馆长苏珊娜·雷诺兹问道。雷诺兹是MACH小组的成员，从事中世纪照明手稿的工作。
细节。
修复领域。
最终结果。
对破损面积较大的手稿进行数字修复。图片:©剑桥菲茨威廉博物馆。
当涉及到修复时，插图手稿尤其成问题。与其他形式的绘画相比，它们很少被修复。Schönlieb和剑桥大学应用数学和理论物理系以及菲茨威廉博物馆的研究助理Simone Parisotto正在与雷诺兹合作，开发一款应用程序来解决这些挑战，这是更大的“揭开隐形”项目的一部分。
这款应用是为文物保护人员设计的，使用MATLAB开发的，它使用图像处理技术来识别损伤，并虚拟重建手稿中的图像。它依赖于修补这个词最初指的是对一幅画进行物理重构。在数学领域，修复意味着用数字方式恢复图像。
利用深度学习和偏微分方程，MACH小组的程序可以填补受损手稿的空白，并预测不同修复途径的结果。用户使用相同或相关手稿中的示例(越多越好)来训练算法，然后算法就会重建需要恢复的图像中缺失的内容。
雷诺兹说:“使用虚拟和数学方法可以让你保持物体的原样，保留历史，并提供一个恢复的、原始的版本，让它看起来像什么。”“它给了你两全其美的机会。”
除了修复，数学方法不仅可以将档案数字化，还可以利用人工智能，使档案数据对保护人员、艺术史学家和考古学家更有用。
罗马陶器
“揭开无形的面纱”的第二个焦点的想法起源于2015年，当时剑桥大学古典学高级讲师亚历山德罗·劳纳罗带着一个问题来到Schönlieb。劳纳罗是一名考古学家，专注于罗马时期，一直在意大利西部挖掘遗址。就像往常一样，他发现了大量的普通陶器，用于日常工作，如烹饪，但他面临着一项艰巨的任务，要分析几千个陶器形状、锅边和底座。
“我遇到了一个考古问题，对大量证据的分析，”劳纳罗说。尽管有系统而全面的目录可以帮助考古学家分析更精致的罗马陶器(精品)，但没有任何东西集中在他想要了解更多的日常陶器上。
“有人可以检查所有这些(陶器碎片)形状，但这非常乏味。因为我们是人，我们会犯错误，我们有时会累，我们可能会错过一些东西。算法是不会累的。”
Carola-Bibiane Schönlieb，剑桥大学应用数学教授
普通陶器，顾名思义，在考古遗址发现的陶器中占了大部分。但考虑到这些陶器的形状非常多样，以及这些发现的数量之多，想要弄清不同地点不同类型陶器之间的关系一直很有挑战性。
劳纳罗说:“因为普通物品代表着日常物品，它让我们看到的古代人口比例比雕像、马赛克或博物馆里漂亮的彩绘罐要大。”创建一个目录来记录这些物体及其彼此之间的关系，可以为过去文明的日常生活提供进一步有价值的见解。“但这不是一个人能轻易做到的，”他说。
Schönlieb和Parisotto认为他们可以帮助Launaro解决这个问题。Schönlieb说:“有些人可以把所有这些形状都看一遍，但那超级乏味。”“因为我们是人，我们会犯错误，我们有时会累，我们可能会错过一些东西。算法是不会累的。”
Parisotto和Schönlieb转向MATLAB来创建Launaro设想的目录。2016年，他们试用了一个系统，该系统旨在将一件陶器的侧面绘画与数据库中的类似图像进行匹配。考古学家根据侧面形状对古代陶器进行分类，认为相似的形状表明年代和功能关系。
古代的壶是根据轮廓所代表的形状来分类的。相似的配置文件被认为是相关的。图片来源:MACH。
但效果并不好。参考陶器图像没有很好地组织起来。团队需要后退一步，自己做组织工作。“考虑到这将涉及数千种独特形状的陶器，我们需要利用计算机的处理能力，”劳纳罗说。
为了填写和组织他们自己的陶器数据库，该团队添加了数千张普通陶器的黑白图片。到2020年底，将有大约6000个陶器剖面被纳入其中。Parisotto正在使用无监督深度学习算法对相关陶器形状进行分组或聚类。该程序创建了将陶器碎片分组的分层树状图，以便更好地向考古学家展示不同类型之间的关系。帕里索托说:“我们的想法是从可用的物体中提取相关的特征，并找到连接不同特征的关系。”
通过确定常见器物类型之间的关系，考古学家可以更好地描绘出它们在空间和时间上的发展和分布。这些关系可以为贸易、定居模式或饮食习惯的重要发展提供线索。MACH团队仍在开发和测试这款应用程序，但是，“最终的想法是创造一种工具，使考古学家能够更有效地解释他们挖掘和研究的遗址，”Launaro说。
从油漆碎片学到的艺术课程
Kasia Targonska-Hadzibabic是MACH团队的研究助理，也是训练有素的物理学家，她正在研究一个“揭开无形”的子项目，该项目利用了类似罗马陶器数据库的原理。但是Targonska-Hadzibabic并没有使用陶器，而是与Parisotto合作建立了一个用于油漆芯片横截面数字图像的平台，以便对其进行分类和比较。
在艺术保护中，研究一幅画中小芯片的横截面可以揭示艺术家是如何创作这幅作品的。Targonska-Hadzibabic说:“它能让你了解艺术家使用的技巧，以及这幅画是如何画出来的。”
MACH团队还在创建一个系统，可以识别来自不同绘画、艺术家或时间时期的绘画芯片横截面之间的联系，从而找出相似性的含义。
传统上，文物保护人员将这些横截面保存在树脂中，然后在显微镜下检查不同的油漆层。近看，涂满树脂的油漆碎片就像一个五颜六色的多层三明治。Targonska-Hadzibabic在艺术保护方面的同事一直在将他自己的绘画碎片横截面档案数字化，他想看看除了单个艺术家的技术之外，这些绘画碎片还能揭示出什么。
从老大师的绘画中绘制横截面。图片来源:MACH。
Targonska-Hadzibabic与Schönlieb合作创建了一个系统，可以识别不同绘画、艺术家或时间时期的横截面之间的联系。横截面上的层并不均匀，不仅颜色不同，而且质地、混合物和拍摄条件的一致性也不同。与罗马陶器项目一样，该团队正在使用MATLAB中的机器学习技术，根据其特征将超过10,000张横截面的数字图像聚类为有意义的组。
Targonska-Hadzibabic表示，他们还不确定这些算法能揭示什么。她说:“这是一个迭代的过程，依赖于与文物保护者的沟通，从艺术史的角度寻找重要的相似之处。”
但有了他们的应用程序，他们希望保护人员能够将他们的源横截面中的层与数据库中其他横截面中的类似补丁进行比较。不仅应用程序用户可以看到这些结果，而且Targonska-Hadzibabic正在努力确保保护人员也可以根据他们的需要轻松修改结果。
实地考察
来自考古、艺术保护和艺术史专家的反馈对指导这些项目至关重要。帕里索托说:“只有专家才能引导数据科学领域的人们走上正确的道路。”
费茨威廉的MACH合作者刚刚开始测试这些应用程序，但目标是为所有学者和保护人员发布这些资源，扩展他们现有的工具箱。对于Launaro来说，普通陶器参考目录将使以前被忽视的考古方面得到更详细的研究。
雷诺兹表示，MACH的数字手稿修复工具不仅可以帮助保护人员，还可以扩大教学和公众参与的选择。雷诺兹说:“我们希望它对教学非常有用，因为它能让你在物体图像的最佳状态下工作。”该工具还可以扩大博物馆的虚拟产品，向公众展示实际的文物和数字“原件”。
基于MATLAB开发的照明微缩模型应用程序INLUMINA。图片:©剑桥菲茨威廉博物馆。
Targonska-Hadzibabic说，编制一个可以识别样品之间联系的绘画横截面数据库，可以帮助专家识别新的绘画方法，揭示艺术家和艺术品之间未知的联系。
然而，这些工具都无法取代人文专业人士的工作。“在一定程度上，你需要一个人来解释，”劳纳罗说。“但还有其他事情可以让我们的工作变得更简单、更直接，而机器可以做到。”
标题图片:©剑桥菲茨威廉博物馆。
阅读其他故事
您也可以从以下列表中选择一个网站: