创建计算机视觉和机器学习算法分析的艺术作品

当你研究一幅画,那么你可以做一些推断。除了理解主题,例如,你可以将它的时期,风格,和艺术家。计算机算法能“理解”一幅足以执行这些任务分类和人类一样容易吗?

我和我的同事在罗格斯大学艺术与人工智能实验室使用MATLAB探讨这个问题^®、统计和机器学习的工具箱™数据库成千上万的绘画从过去6世纪。我们也解决了两个有趣的人工智能算法的功能和限制问题:他们是否能识别哪些作品对后来影响最大的艺术家,以及他们是否可以测量一幅画的创造力只使用它的视觉特性。

提取视觉特征分类绘画

我们想开发算法能够对大批的画作风格进行分类(例如,立体派、印象派、抽象表现主义,或巴洛克风格)、类型(例如,风景、肖像或静物),和艺术家。要求这一分类识别颜色的能力,成分,质地,角度来看,主题和其他视觉特性。第二个是能够选择那些最好的显示的视觉特性相似性绘画。

使用MATLAB的图像处理工具箱™,我们开发了算法来提取绘画的视觉特性。在计算机视觉特征提取算法是相当普遍,并且易于实现。更具挑战性的任务是找到最好的机器学习技术。我们开始通过测试支持向量机(svm)和其万博1manbetx他统计和机器学习分类算法工具箱来识别有用的视觉特性风格分类。在MATLAB中,然后,我们距离度量学习技术应用于重特性,从而提高算法的分类绘画的能力。

我们开发的算法分类绘画的风格在我们的数据库有60%的准确度,在性能的可能性约为2%。在艺术历史学家可以执行这个任务超过60%的准确率,该算法优于典型非专业人类。

使用机器学习来揭示艺术的影响

一旦我们有算法,可以可靠地确定对绘画之间的相似之处,我们准备解决我们的下一个挑战:使用机器学习来揭示艺术的影响。我们的假设是,视觉特性对于风格分类(一个监督学习问题)也可以用于确定影响(一个无监督的问题)。

艺术历史学家开发理论的艺术影响基于艺术家是如何运作时,旅行,或与同时代的训练。我们基于MATLAB的机器学习算法只用视觉元素组成和日期。我们假设一个算法,考虑了对象和符号的绘画会更有效比依赖于低层特征,如颜色和质地。有鉴于此,我们使用分类算法,训练在谷歌图片识别特定对象。

我们测试了算法在超过1700幅画作来自66个不同艺术家工作的550年。维拉斯奎兹的影响所确定的算法容易“教皇的肖像无辜的X”弗朗西斯·培根的“学习后委拉斯开兹的画像教皇无辜的X”(图1)。

成分的相似性和主题这两幅画之间很容易甚至一个门外汉,但该算法也产生结果,惊讶的艺术历史学家与我们合作。例如,我们的算法确定“Bazille工作室;9街Condamine”画在1870年被法国印象派Frederic Bazille,可能影响诺曼·罗克韦尔“Shuffleton理发店,“80年后完成(图2)。尽管画作可能不类似乍一看,仔细观察发现相似的成分和主题,包括加热器在每个工作的右下方,三人组的中心,和椅子和三角空间在左下角。

在我们的数据集,算法正确识别55影响被艺术史家的60%,这表明视觉相似性算法单独提供充分的信息(并可能对人类)来确定许多影响。

测量创造力通过求解一个网络中心的问题

最近,我们的研究都集中在发展算法来衡量创造力在艺术。我们这个项目基于一个广泛使用的定义,识别一个物体创意是否新颖和有影响力。在这些方面,创意绘画将会与以前的绘画(小说),但在它之后的类似(影响力)。

为了解决这一问题,我们再次看到了机会应用MATLAB算法识别相似性绘画。在MATLAB中,我们创建了一个网络的顶点是绘画和每条边表示两幅画在其顶点之间的相似性。通过一系列的转换在这个网络我们发现做出推断创造力从这样的图是一个网络中心的问题,可以有效地解决使用MATLAB。

我们测试了我们的创造力算法对两个数据集包含超过62000幅画作。识别的算法给几个高分的作品艺术历史学家作为小说和影响力,包括一些作品如图3所示。排名更高比毕加索的“阿维尼翁的少女”(1907)在同一时期被马列维奇的几幅绘画作品。最初这个结果让我吃惊,因为我知道对马列维奇的工作。我已经知道他是至上主义运动的创始人,最早的抽象艺术的发展。

执行基本的验证算法,我们改变了日期具体的艺术作品,有效转移向后或向前。在这些“时间机器”的实验中,我们看到大量增加创造力分数印象派艺术搬回1600年代和显著减少巴洛克绘画向前移动到1900年代。算法正确地认为,300年前是什么创意不是创造性的今天,这是创造性的现在会更创意如果介绍过去。

一个可伸缩、可扩展的框架进行研究艺术

人类有天生的知觉技能分类的艺术,他们擅长识别相似之处对绘画,但是他们缺乏客观的时间和耐心来应用这些技能数以千计甚至数以百万计的绘画。处理任务在这个规模是计算机进入自己的地方。通过开发机器学习算法,知觉能力类似于人类,我们的目标是为艺术历史学家提供工具导航巨大的图像数据库。

识别相似的框架我们开发了在MATLAB和测量创造力并不局限于艺术。它可以应用到文学,音乐,或任何其他创造性的领域,只要个人作品可以编码的方式访问算法。

现在,然而,我们仍然关注视觉艺术。我们不仅有兴趣在确保机器学习算法产生好结果还在如何到达这些结果。在这个领域,MATLAB是一个巨大的优势,因为它提供了许多方法可以快速、轻松地可视化结果。这些可视化结果使我们能够理解和使用它们来告知正在进行的人工智能研究。