追踪摄像头会被动物的动作自动触发。它们被世界各地的生态学家和野生动物管理人员用来研究野生动物的行为，并帮助保护濒危物种。我想看看MATLAB®图像处理和深度学习可以用来识别访问trail camera的单个动物物种。我们将从现成的功能开始—没有针对这个特定任务的专门功能。
我在这个项目上的搭档是希瑟·戈尔和吉姆·桑德森。Heather是MathWorks的机器学习专家。吉姆是我在新墨西哥大学的博士生之一。他在洛斯阿拉莫斯国家实验室(Los Alamos National Laboratory)工作了几年，为超级计算机编写Fortran程序。但对自然摄影的兴趣演变成了想要转向生态学的愿望。他现在是世界上研究小型野猫的权威。他还是CameraSweet的所有者，世界各地的调查人员都使用这个软件包对跟踪摄像头的数据进行分类和分析。
我们的数据
我们的研究使用了位于阿尔伯克基的美国鱼类和野生动物管理局(FWS)办公室过去10年从四个国家野生动物保护区(NWRs)和一个私人牧场收集的数据。图1中的地图，由Mapping Toolbox™生成，显示了站点的位置。
图1所示。五个数据站点的位置。
大多数数据来自塞维利亚NWR，在新墨西哥州的奇瓦华沙漠中的23万英亩的保护区。另一个网站也是在新墨西哥州，是Armendaris Ranch，由Ted Turner拥有的私人土地350,000英亩，CNN亿万富翁创始人和女演员Jane Fonda的前丈夫。
这里有大量的数据——大约500万张图像。塞维利亚塔和其他三个国家野生动物保护区提供了近400万张已经被人类专家分类的图片，而Armendaris牧场和德克萨斯州的拉古纳阿塔斯科萨国家野生动物保护区提供了另外100万张尚未分类的图片。
CameraSweet有文件夹的集合中的研究者保存图像，每个摄像机一个文件夹，子文件夹每个物种和在单个图像看到动物的数量。每个图像文件都标有记录的日期和时间。
为了读取Fish和Wildlife Service数据，我们的MATLAB程序创建了一个字符串数组美国鱼类和野生动物管理局，长度3,979,549，包含数据集中所有图像的路径名。例如:
k = 2680816;example = FWS(k) example = "D:SNWR\Pino South (28)\Bear\02\2012 06 10 14 06 20.JPG"
这美国鱼类和野生动物管理局这个示例的条目告诉我们，数据存在于连接到我的驱动器的硬盘驱动器上D：而且它来自网站SNWR，或Sevilleta NWR。该相机是28号，位于南皮诺。人类专家挽救这个数据到CameraSweet文件夹两只熊。
我搜索了许多两只熊的图片，想找一只可爱的，结果找到了图2所示的那只熊。JPG图片的名称是2012年6月10日14:06:20小时的时间戳。命令
imshow(示例)
访问数据，并产生图2。
图2。一只母熊和她的幼崽，被照相机捕捉到。
物种命名与标记
使用CameraSweet的研究人员在命名物种的方式上有一定的灵活性。“山狮”和“美洲狮”是同一种动物。浣熊这个词有好几个不同的拼法我们将这些名称统一为40个，我们称之为标准。名称显示在下面的“物种”栏。
我们的MATLAB程序创建了第二个字符串数组，标签，其中包含图像的标准名称美国鱼类和野生动物管理局．使用标签，很容易算图像的每个标准的物种数量。
图片％的物种1282762 32.23骡鹿690131 17.34叉角羚407240 10.23麋鹿264375 6.64鸟191954 4.82鸽子184218 4.63鬼173476 4.36羚羊120377 3.02乌鸦105931 2.66狼105718 2.66秃鹫67643 1.70牛45308 1.14人40060 1.01福克斯32849 0.83马31579 0.79棉尾314390.79大角羊23818 0.60贾卡拉比特20438 0.51鹿18160 0.46松鼠17347 0.44 Javelina 16286 0.41猪14898 0.37熊14191 0.36山猫12617 0.32霍克9882 0.25蓝牛8342 0.21的Eagle 7405 0.19很少6864 0.17彪马6023 0.15未知4516 0.11车辆3863个0.10浣熊3427 0.09越野车2656 0.07猫头鹰2608 0.07蛇2164 0.05犰狳2029 0.05国内1985 0.05鼠类1909 0.05臭鼬1659 0.04獾1402 0.04蛮羊
两个品种，“骡子鹿鼎记”和“叉角羚”，合计占近2万张图片，这是我们数据的一半。物种“Ghost”描述了某些东西触发相机的情况，但图像中没有任何内容。幽灵被丢弃在塞维尔赛数据中，但其他网站提供了充足的。这个名字“很少”是一个包罗了所有10种，包括“山猫”和“布罗，”拥有不到1000倍的图像。
总体而言，在数据中不同的物种在多大程度上存在巨大的差异。词云提供物种分布（图3）的良好可视性。
图3。字云显示物种的相对分布。
该步道照相机图像
一些图像提供动物的优秀肖像。图4示出四个例子。
图4。示例跟踪相机图像。顺时针从左下角开始:土狼，标枪，叉角羚和尼尔盖。
Javelina分布在中美洲、南美洲和北美西南部。它们很像野猪，但却是不同的物种。叉角羚和土狼在我们的大多数地方都很常见。Nilgai在印度随处可见，印度教徒视其为神圣。它们在20世纪20年代被引入德克萨斯。在我们的遗址中，它们唯一被发现的地方是阿塔斯科萨的拉古纳NWR。
大约有三分之一的图像是在夜间用红外拍摄的，并以灰度形式出现，如图5中所示的前两个示例。
图5.顶部：2个灰度红外图像。下图：一个大羚羊的两个全彩色图像。
这两个大羚羊图像很容易被人类专家进行分类，即使图像显示出非常不同的看法。传统的图像处理技术，其看起来像的腿，存在和鹿角的风格，和尾部的类型数的功能，将由上右下方的严重点亮特写受挫。
有成千上万的图片是由非野生动物活动触发的，包括人类、牛、马、车辆和家畜。在图6中，右上角的图像已经被分类为鬼。
图6.图片由nonwildlife活动触发。上图:一个人(左)和一个“鬼”(右)。下图：“身份不明”的图像。
左下方的主题显然太近相机。有右下图像在淡黄色斑点，可能是小飞虫的群。两个图像被列为“不明”。
培训我们深学习网
Inception-v3是一种卷积神经网络(CNN)，广泛用于图像处理。我们将使用来自ImageNet数据库的100多万张图像预先训练过的网络版本。《盗梦空间3》是CNN现成的图片。里面没有什么专门用于跟踪摄像头的。我们从40个物种中随机选择1400个样本，并指定70%(980张)作为训练图像，30%(420张)作为验证图像。我们让培训在Linux上运行了一夜®带有GPU的机器(Xeon®E5-1650v4处理器，3.5 GHz, 6个HT内核，64gb RAM, 12gb NVIDIA®泰坦XP GPU)。
由此产生的混乱的图表(图7)是一个40 × 40的矩阵a，其中a(k,j)是预测第k个真类中的观测结果在第j个类中的次数。如果分类工作完美，矩阵将是对角的。在这个实验中，对角线上的值都是420。接近对角线是一种精度的度量:
sum(diag(A))/sum(A，'all') = 0.8686
图7。混淆矩阵，用于检查分类器的准确性。
许多大非对角线元素并不奇怪。最小对角线值216，是鸟类。行标伯德表明，预测类往往是其他一些物种。下一个最小的对角线元素270，是未知的。在未知和其他物种之间存在混乱。郊狼，用297对角线值，不很好经历，也许是因为他们经常出现在暧昧的图像。鹿和蓝牛，与358和352对角线值，具有良好的整体精度，但彼此混淆。
另一方面，最常被正确分类的动物包括巴巴里羊，它的对角线值是405。鹰、马和叉角羚被正确分类了390次或更多。大角羊有386。
在非机密图像上测试CNN
我们现在有一个CNN训练分类跟踪摄像机图像。它是如何在一个新的位置表现的图像从来没有被分类?我们对Armendaris农场的每10张图像进行采样，总共有18242张。CNN的分类发现了39种不同的物种。
几乎一半的分类(8708种)是大角羊。只有454份是给骡鹿的。一开始我很惊讶，因为这意味着该网络预测Armendaris的大角羊数量几乎是骡鹿的20倍，而塞维莱塔以北不到100英里，骡鹿数量是大角羊的40倍。
但这个结果并没有让吉姆·桑德森感到惊讶。Armendaris山上是羊的自然栖息地。牧场管理大角羊的方式与管理野牛群的方式相同。狩猎大角公羊是牧场的重要收入来源。
CNN将93幅图片归类为美洲狮。这似乎高估了。通过对93张图片的分析，我们只发现了10到11种难以捉摸的动物。
图8中的所有四个图像都来自ArmendAris。上面的两个由CNN正确分类为分别大角羊和PUMA。但是，下面的两个接收相同的分类;这显然是不正确。
图8。分类以前未分类的图像从Armendaris农场。上面的图像被CNN分类为大角羊和美洲狮，显然是正确的。下面的图像也被分类为大角羊和美洲狮，显然是错误的。
结论
总的来说，这个深度学习分类器比我预计的要成功得多。即使在目前的状态下，它也可能对研究人员有用。任何进一步的发展，我们的CNN应该集中在设计特征，具体跟踪摄像头图像识别。
有一件事是清楚的——数据越多越好。鱼类和野生动物管理局收集的500万张图片对于训练网络达到这种精度水平至关重要。
致谢
感谢Jim桑德森，格兰特·哈里斯在阿尔伯克基FWS和希瑟Gorr，约翰娜Pingel和MathWorks公司新闻及注意事项编辑团队。
