AI揭示古代文物的秘密
使用深度学习和图像处理恢复和保护艺术品
当Carola-Bibiane Schonlieb开始博士的研究在2005年数学,她的第一个项目是帮助恢复一个中世纪的壁画在维也纳。一旦被墙上的老公寓,剩下的这幅画是白得千疮百孔,破坏的墙壁前几年。而不是油漆、溶剂或树脂,Schonlieb修复工具的算法。“有一些管理者从维也纳大学的人身体开始恢复,“Schonlieb说。“然后我们得做这个数字。”
马赫倡议结合了艺术历史学家的专长,修复,古典学者,和中世纪数学家推进恢复和考古学。
拍照后受损的壁画,Schonlieb研究算法,可以用这些照片来填写丢失,损坏的绘画,创建一个数字模型的原始壁画可能看起来像。当时,只有少数的论文描述数学家和管理者如何一起工作来恢复艺术品。修复和艺术历史学家刚刚开始数字化档案,保存绘画、手稿、机器和陶器。
部分的一个中世纪的壁画,一旦隐藏在公寓墙壁在维也纳。图片来源:马赫。
Schonlieb,现在剑桥大学应用数学教授使用图像分析和处理对艺术的恢复和保护。目前,她的工作与其他数学家和人文专家应用数学的文化遗产(马赫)倡议。主动结合了艺术历史学家的专长,修复,考古学家,和中世纪数学家推进恢复和物质文化研究。
在当前的项目中,“揭幕无形”,马赫团队使用MATLAB®算法目录罗马陶器,分析漆截面允许学者看到新的构件之间的关系,和数字恢复泥金太微妙的身体恢复。这三个领域的项目重点已经多年。
Re-Illuminating手稿
马赫合作始于2013年,当Schonlieb给大学讨论数字图像修复。员工从剑桥菲兹威廉姆博物馆,这档节目的特点就是艺术从古代到现在,在出席。他们认为Schonlieb的方法可以应用到他们的工作。
手稿和印刷书籍的门将在当时的菲茨威廉博物馆一直追求的无创性方法手稿恢复当她听到Schonlieb恢复说话的形象。她走近Schonlieb并建议他们一起工作。当马赫项目诞生了。
当面对受损的绘画和工件,管理者面临一个困境。时可以选择恢复一片,它可能看起来像它的最初形式的损害本身可以记录对象的历史。手稿的中世纪,例如,手写的书,写在羊皮纸上,画装饰,通常包括金银等贵金属。在某些情况下,手稿可能有油漆故意删除或添加到消除标志的所有权,或掩盖进攻的形象。
“使用虚拟和数学方法允许您保持(手稿)和留住历史,和提供了一个恢复,这可能是什么样子的原始版本。它给了你机会两全其美。”
苏珊娜Reynolds在Fitzwilliam博物馆馆长
“我们得到恢复,我们失去了通过恢复什么?”苏珊问Reynolds的菲茨威廉博物馆馆长的手稿和印刷书籍。雷诺是马赫集团的一员,和中世纪的手稿。
细节。
修复领域。
最终结果。
手稿与大型数字恢复受损区域。图片:©Fitzwilliam博物馆,剑桥。
泥金尤其有问题时恢复。他们很少身体恢复与其他形式的绘画。雷诺兹,Schonlieb Simone Parisotto,一名研究助理在剑桥大学应用数学和理论物理和菲茨威廉博物馆,正在开发一个应用程序来解决这些挑战的一只胳膊大”揭幕无形”项目。
使用MATLAB设计为保护和开发,应用程序使用图像处理技术来识别损伤和几乎在手稿重建图像。它依赖于修补最初的一个术语,指身体重建一幅画。在数学领域,结合现有手段数字化重建图像。
使用深度学习和偏微分方程,马赫集团的程序填空损坏的手稿和预测结果的不同途径的恢复。用户训练算法的例子相同或相关的手稿(s)——更多更好的算法进行重构丢失的内容形象需要恢复。
“使用虚拟和数学方法允许您保持对象和留住历史,和提供了一个恢复,它可能是什么样子的原始版本,”雷诺兹说。“这给了你机会两全其美。”
除了修复,数学方法不仅可以数字化档案,还利用人工智能,使档案数据修复更有用,艺术历史学家和考古学家。
集群罗马陶器
的想法的第二焦点”揭幕无形”起源于2015年,当亚历桑德罗·Launaro,剑桥大学高级讲师经典,Schonlieb问题。考古学家Launaro侧重于罗马时期在意大利西部和被挖掘网站。几乎总是如此,他发现大量commonware陶器,用于日常任务喜欢烹饪,但面临的艰巨任务是分析几千陶器形状,锅的边缘,和基地。
“我有一个考古的问题,一个伟大的证据的分析,“Launaro说。虽然有系统的和全面的目录,帮助考古学家分析更精致类罗马陶器(fineware),没有把注意力集中在日常陶器他想更多地了解。
“有人可以通过所有这些陶器碎片的形状,但这是超级无聊。因为我们是人类,我们犯错,有时候我们累了,我们可能会错过一些东西。一个算法不会轮胎。”
Carola-Bibiane Schonlieb,剑桥大学的应用数学教授
Commonware陶器,顾名思义,占多数的考古地点发现的陶器。但鉴于这个陶器可以非常不同的形状,和大量的这些发现,找出不同的陶瓷类型在不同网站之间的关系仍是极具挑战性的课题。
“因为commonware代表日常物品,它让我们看到一个更大比例的人口比古代雕像,马赛克,或者是不错,画盆在博物馆里,“Launaro说。创建一个目录来记录这些对象和它们之间的关系可以提供更多有价值的洞察过去文明的日常生活。“但这不是一个人可以很容易地做的,”他说。
Schonlieb Parisotto认为他们可以帮助Launaro解决这个问题。“有人可以通过这些形状,但这是超级无聊,“Schonlieb说。“因为我们是人类,我们犯错,我们累了的时候,我们可能会错过一些东西。一个算法不会轮胎。”
Parisotto和Schonlieb转向MATLAB Launaro设想创建目录。2016年,他们驾驶一个系统用来匹配一个画一块陶器的概要文件类似的图像在数据库中。考古学家将古代陶器的剖面形状和认为类似的形状表示时间以及功能的关系。
古代陶器是由形状分类由一个概要文件。类似的概要文件被认为是相关的。图片来源:马赫。
但它并不管用。参考陶器图像没有组织良好。团队需要退后一步,做到组织本身。“鉴于它会涉及成千上万的独特形状的陶瓷,我们需要利用计算机的处理能力,“Launaro说。
填写并组织自己的陶器数据库,团队增加了成千上万的图片,黑白块commonware的概要文件。到2020年底,约有6000陶器概要文件将被包括在内。Parisotto深使用无监督学习算法组或集群相关陶瓷形状。程序创建了分层系统树图分组陶器碎片更好地显示考古学家不同类型之间的关系。”的理念是提取相关特征可用的对象,“Parisotto说,“和找关系团结不同的特性。”
通过确定commonware类型之间的关系,考古学家可以更好的地图开发和在时间和空间分布。这些关系可以提供重要的线索发展贸易、结算模式,或饮食习惯。马赫集团仍在开发和测试应用程序,但是,“最后的想法是创建一个工具,让考古学家们更有效地解释他们挖掘和研究的网站,“Launaro说。
艺术教训油漆芯片
Kasia Targonska-Hadzibabic,马赫和物理学家的研究小组的研究助理培训,正在“揭幕无形”的一个子项目,利用原则类似于罗马陶器数据库。而是陶器、Targonska-Hadzibabic正在与Parisotto构建一个平台,数字图像的油漆芯片截面,使得他们的排序和比较。
在艺术保护,研究小芯片的横断面图从一幅画可以揭示艺术家如何创建工作。“这给你艺术家使用信息技术,如何在画这幅画,“Targonska-Hadzibabic说。
马赫团队还创建一个系统,可以确定油漆芯片截面之间的联系从不同的绘画,艺术家,或在时间找出相似之处可能意味着什么。
传统上,管理员把这些横断面图,保存在树脂,在显微镜下检查不同的漆层。近距离,resin-covered油漆芯片看起来像一个彩色的,多层三明治。Targonska-Hadzibabic的同事在艺术保护自己被数字化档案馆的油漆芯片截面和多想看看,除了个别艺术家的技巧,这些油漆芯片可以揭示。
从绘画大师漆截面。图片来源:马赫。
Targonska-Hadzibabic联手Schonlieb创建一个系统,可以确定截面之间的联系从不同的绘画,艺术家,或在时间。层的横截面不均匀,不仅在不同的颜色,但是在纹理,混合物,拍摄条件的一致性。与罗马陶器项目一样,在MATLAB环境下使用机器学习技术团队聚集10000多数字图像截面分成有意义的组根据他们的特征。
根据Targonska-Hadzibabic,他们尚未确定这些算法可能会透露什么。“这是一个迭代过程依赖于与管理者的沟通发现相似之处重要从艺术史的角度来看,“她说。
与生成的应用程序,但他们希望管理者能够比较层源截面与其他截面数据库中类似的补丁。不仅将应用程序用户看到这些结果,但Targonska-Hadzibabic正在努力确保管理者根据他们的需求,可以很容易地修改的结果。
在这个领域
反馈从考古、艺术保护、历史和艺术专家指导这些项目至关重要。“只有专家才能指导人们在数据科学正确的路径,”Parisotto说。
费茨威廉马赫合作者在刚刚开始测试这些应用程序,但我们的目标是所有学者和管理者发布这些资源,扩大现有的工具箱。Launaro, commonware陶器参考目录将使更详细研究考古学以前被忽视的一面。
根据雷诺兹,马赫的数字手稿修复工具不仅可以帮助修复,但是它也可以扩大教学和公众参与的选项。“有一个希望,这将是非常有用的教学,因为它将使你处理的图像对象在他们最好的,”雷诺兹说。该工具还可以扩大博物馆的虚拟产品,展示公众实际工件和数字“原始”。
结合现有照明微型应用程序(INLUMINA)在MATLAB开发的。图片:©Fitzwilliam博物馆,剑桥。
Targonska-Hadzibabic说编译一个油漆截面数据库,可以确定样品之间的联系可以帮助专家确定新的绘画方法和揭示未知的艺术家和艺术作品之间的联系。
然而,这些工具将取代人文专业人士的工作。“有一定程度的解释,你需要一个人,“Launaro说。“但是还有其他事情会使我们的工作更容易和简单的机器可以实现。”
标题图片:©Fitzwilliam博物馆,剑桥。
