一个实验,用野生动物跟踪相机数据深度学习
由克里夫硅藻土,MathWorks
相机自动引发了动物运动。他们是被生态学家和世界各地的野生动物管理人员用来研究野生动物的行为和帮助保护濒危物种。我想看看MATLAB®图像处理和深度学习可以用来识别个人访问跟踪相机的动物物种。我们要从现成的functionality-nothing专门为这个特殊的任务。
我的合作伙伴在这个项目是希瑟·高尔和吉姆·桑德森。希瑟是MathWorks机器学习专家。吉姆是我的一个在新墨西哥大学的博士生。他花了几年在洛斯阿拉莫斯国家实验室为超级计算机写Fortran程序。但自然摄影感兴趣演变成一个欲望转向从事生态。他现在是世界领先的小型野猫的权威。他也是CameraSweet的老板,一个软件包使用世界各地的调查人员进行分类并分析其跟踪相机的数据。
我们的数据
我们的研究使用收集的数据由美国鱼类和野生动物服务在阿尔伯克基(美国鱼类和野生动物管理局)办公室过去10年从四个国家野生动物保护区(nwr)和一个私人牧场。地图在图1中,由映射工具箱™,显示了站点的位置。
图1所示。五个数据站点位置。
大部分数据来自Sevilleta NWR,一个230000英亩的保护区在新墨西哥的奇瓦瓦沙漠中央。另一个网站,也在新墨西哥州,Armendaris牧场,350000英亩的私人土地特德·特纳(Ted Turner)拥有亿万富翁CNN创始人和前女演员简·方达的丈夫。
有很多数据总共500万张图片。Sevilleta和其他三名NWR贡献了近400万的图像已经被人类专家分类,而Armendaris牧场和德州的拉古纳Atascosa NWR公司贡献了一个额外的百万尚未分类的图像。
CameraSweet有研究者将图片保存在一个文件夹的集合,每个相机一个文件夹,子文件夹为每个物种和动物的数量在一个单一的形象。每一个图像文件贴上的日期和时间记录。
读美国鱼类和野生动物服务数据,我们的MATLAB程序创建一个字符串数组美国鱼类和野生动物管理局长度为3979549,包含路径中的所有图像数据集的名字。例如:
k = 2680816;示例=美国鱼类和野生动物管理局(k)示例= " D: SNWR \皮诺南熊(28)\ \ 02 \ 2012 06年10 14 06 20. jpg”
的美国鱼类和野生动物管理局数据条目,这个例子告诉我们,生活在一个硬盘驱动器连接到我的驾驶D:它来自网站SNWR,或Sevilleta NWR。相机是28号,位于南皮诺。挽救了人类专家数据为两个熊CameraSweet文件夹。
我在许多两只图像,寻找一个可爱的人,发现一个如图2所示。JPG图片的名称是一个时间戳为6月10日,2012年,14:06:20小时。命令
imshow(示例)
访问数据和产生图2。
图2。熊妈妈和她的幼仔,相机捕捉到28。
命名和标识的物种
研究人员利用CameraSweet有一些灵活性的名字的物种。“山狮”和“彪马”是相同的动物。“浣熊的有几个不同的拼写。“我们有统一的名称到40岁,我们称之为标准。列所示的名字是领导下面的“物种”。
我们的MATLAB程序创建第二个字符串数组,标签,标准名称的图像美国鱼类和野生动物管理局。使用标签,很容易计算图像的数量为每个标准的物种。
图像物种1282762百分比32.23骡鹿690131 17.34叉角羚407240鸟10.23麋鹿264375 6.64 191954 4.82鸽子184218 4.63鬼173476 4.36羚羊2.66 120377 3.02乌鸦105931 2.66狼105718秃鹰67643 1.14 1.70牛45308人类40060 1.01 32849年福克斯0.83马31579 0.79棉尾兔31439 0.79大角羊23818 0.60松鼠长耳大野兔20438 0.51鹿18160 0.46 17347 0.44野猪16286 0.41猪14898 0.37 14191 0.36山猫12617 0.32 9882年鹰0.25 Nilgai 8342 0.19 0.21鹰7405几6864 0.17彪马6023 0.15未知4516 0.11车辆3863 0.10浣熊3427 0.09走鹃蛇2656 0.07猫头鹰2608 0.07 2164 0.05犰狳2029 0.05 1985年国内0.05啮齿动物1909 0.05臭鼬獾1659 0.04 1402 0.04巴巴里的羊
两个物种,”黑尾鹿”和“叉角羚”,占近200万的图片,这是我们的数据的一半。“幽灵”描述了情况触发相机但似乎没有什么形象。鬼魂在Sevilleta丢弃的数据,但其他网站提供很多。“几”这个名字是10种的统称,包括“豹猫”和“驴子”,不到1000的图像。
总的来说,有一个巨大的差异在多大程度上不同种类的数据表示。一个词云提供了一个良好的可视化的物种分布(图3)。
图3。词云显示物种的相对分布。
小道的相机图片
一些动物的图片提供出色的肖像。图4显示了四个例子。
图4。示例跟踪摄像机图像。顺时针从左下:狼、野猪、叉角羚、nilgai。
野猪在中美洲和南美洲和北美洲西南部的部分。他们像野猪,但是是不同的物种。叉角羚和土狼是常见的在我们的网站。Nilgai无处不在在印度,印度教徒认为他们是神圣的。他们在1920年代引入德克萨斯州。唯一发现的地方在我们的网站是拉古纳Atascosa NWR。
大约三分之一的图像与红外夜间拍摄,和出现在灰度,就像上面两个例子如图5所示。
图5。:两个红外灰度图像。底部:两个羚羊的全彩图像。
两大羚羊图像容易分类由人类专家,即使图像显示截然不同的观点。传统的图像处理技术,寻找功能,如数量的腿,鹿角的存在和风格,和类型的尾巴,将被严重点燃特写镜头在右下角。
有成千上万的图像由nonwildlife活动,包括人类、牛、马、车辆和家畜。在图6中,右上角的图片已被归类为鬼。
图6。图片由nonwildlife活动。:一个人(左)和一个“鬼”(右)。底:“不明”图像。
左下角的主题显然是太接近相机。右下角的图片中有微弱的黄色斑点可能是一群小飞虫。两个图像被归类为“身份不明”。
训练我们的深度学习网络
Inception-v3卷积神经网络(CNN),广泛用于图像处理。我们将使用一个版本的网络pretrained超过一百万图像从ImageNet数据库。Inception-v3 CNN是一个现成的形象。没有专门为跟踪摄像机。我们选择从我们每一个随机抽取的1400名40物种和指定70%(980)训练图像和30%(420),验证图像。我们让培训在Linux上运行在一夜之间®机用GPU(至强®v4 e5 - 1650处理器,3.5 GHz, 6 HT核心,64 GB的RAM和12 GB NVIDIA®泰坦XP GPU)。
由此产生的混乱的图表(图7)包含40×40矩阵a是一个一个的次数(k, j)是k的观察真正的类是预测j类。如果分类工作完美,矩阵是对角。在这个实验中,对角线上的值都是420。近似对角线的测量精度:
精度=总和(诊断接头(A)) /笔(A '所有')= 0.8686
图7。混淆矩阵,用来检查分类的准确性。
许多大型的非对角元素并不令人惊讶。最小的对角线价值,216年,是鸟类。行标记的鸟儿表明预测类通常是一些其他物种。下一个最小的对角元素,270年,是未知的。未知的和其他物种之间存在困惑。土狼、对角线值297,成绩也不是很好,也许是因为他们经常出现在模糊的图像。鹿和nilgai,对角线的值358年和352年,有良好的整体精度,但彼此混淆。
另一方面,正确的动物分类通常包括北非羊,对角线的值是405。鹰、马和叉角羚正确分类390次以上。大角羊有386。
在非机密图像测试CNN
我们现在有一个CNN训练跟踪摄像机图像进行分类。它如何执行在一个新的位置图片从未分类?我们每十图像样本Armendaris牧场,共有18242人。CNN分类发现39个不同的物种。
几乎一半的分类- 8708是大角羊。只有454是骡鹿。这让我吃惊,因为它意味着网络预测Armendaris近20倍的大角羊骡鹿,虽然Sevilleta,不到100英里的北部,相反:40倍的长耳鹿大角羊。
但是这个结果并不意外吉姆·桑德森。山上Armendaris羊的自然栖息地。大角羊的牧场管理以同样的方式管理其野牛群。狩猎大角公羊的牧场是一个重要的收入来源。
CNN分类标签93张图片为美洲狮。这似乎是一个高估。考试的93张图片揭示了只有10或11的难以捉摸的动物。
所有四个从Armendaris图像如图8所示。上面两个是CNN正确分类为大角羊和彪马,分别。但较低的两个接收相同的分类;这显然是不正确的。
图8。以前未分类分类Armendaris牧场的照片。上面的图像分类的CNN大角羊和彪马,显然是正确的。较低的图像也被归类为大角羊和彪马,显然是不正确的。
结论
总的来说,这深度学习分类器是比我预想的更成功。即使在其当前状态,它可能是有用的调查。进一步发展我们的CNN应该专注于设计跟踪摄像机图像识别的相关特性。
有一件事是清楚- - - - -数据越多越好。美国鱼类及野生动物保护局收集的500万张图片是必不可少的训练一个网络这种程度的准确性。
确认
由于吉姆•桑德森在阿尔布开克美国鱼类和野生动物管理局授予哈里斯,希瑟·高尔,Johanna Pingel,MathWorks新闻与笔记编辑团队。
2020年出版的
