查找人体检测器最薄弱的环节

Original Essay: https://www.cc.gatech.edu/~parikh/person_detection.html

Devi Parikh和Larry Zitnick著

________________________________________

摘要

________________________________________

在计算机视觉中，人体检测仍然是普遍且富有挑战性的问题。我们在本文中分析了基于局部的模型以进行人体检测，以此来确定其传输途径中哪些组建如果得到改进，结果会最为得到改善。我们通过研究众多检测器来达到实验目的，这些检测器为人类实验对象和机器运行的组件组合构成。我们研究的基于局部模型大致分为四个部分：特征检测、局部检测、空间局部评分和包括非最大值抑制的环境推理。实验得出结论为：局部检测是挑战人体检测数据中最薄弱的环节。非最大值抑制和环境也能显著提高性能。但使用人体或机器的空间模型并不会显著或持续影响检测的精度。

________________________________________

动机

________________________________________

人体检测是计算机视觉中开放且具有挑战性的问题。近期，使用基于局部模型的人体检测器取得了重大进展。研究人员调查了图像的众多特征表现，局部的不同外观模型， 对象配置的复杂空间模型以及表现性的最大值抑制和环境模型。以上的每种方法都表现出了组件之间的相互依赖，其复杂组成使之无法提供最终的检测结果。尽管各类方法额外的复杂性导致了性能的提升，但却很难理解每个组件在最终检测精度中的影响。

________________________________________

提议

________________________________________

我们对基于局部的模型进行了彻底的分析，以深入了解传输途径中的哪些组件在得以改善后可使实验结果最大获益。我们将以往执行实验的计算机算法换成了人类实验对象来完成此任务。例如：我们用人类实验对象来标记小的图像斑点中是否包含人类的头部、足部和躯干等，而非使用机器分类器（如使用HoG描绘子下的隐变SVM算法来检测对象）。人类实验对象进行的实验如下列图片所示：

________________________________________

实验和结果

________________________________________

我们对不同检测器（如下）的检测精度进行了评估，这些检测器为人类实验对象和机器运行的组件组合构成。

对检测器的各子集进行比较能使我们得以梳理基于局部的人体检测传输途径中每个组件的影响。本文中详细描述了不同的比较，即下文中所示从PASCAL 2007和INRIA数据集中所得的结论总结。我们发现基于局部的人体检测中，最薄弱的环节为局部检测。非最大值抑制也会产生一定影响。然而，使用人类或机器空间模型并不会显著影响检测的精确度。

________________________________________

局部图像斑点数据集

________________________________________

在我们作为实验组成而收集的大量人体数据中，我们认为一下内容可能会引起业内人士的关注。

我们让实验对象将重叠的图像斑点分为八大类别之一：头部、躯干、手臂、手、腿部、脚和身体的其他部分（而非完整的人体）。这些图像斑点从50个INRIA和100个PASCAL（2007）中获得，并随机单独展示，因此并不能得出有效的周围环境信息。我们从原始的高分辨率以及低分辨率的图像中获得了这些图像斑点。在此之前，这些高低分辨率的图像被转换成以下的表现形式之一：彩色（常规）、灰度和归一化渐变图。因此共产生了45,316 x 6 = 271,896个斑点。10位人类实验对象将各个斑点在Amazon's Mechanical Turk分别归类到了上述的八大类别。

数据快照如下所示，其中可以看出，大多数得以分类的图像为头部、躯干、腿部和空白图案。

同理，我们让10位实验对象划分重叠图像子窗口中（共计6,218 x 6 = 37,308个）是否包含人（类似“根”检测）。 而局部图像，则按照分辨率高低、灰度和归一化渐变图中获得。

我们提供局部（图像斑点）和根（窗口）分类数据以作为局部斑点数据集。

________________________________________

可视化

________________________________________

部分有关人类实验对象的研究要有其使用已预先好的局部图像来检测人体。这些局部图像可能会被其他人或机器检测到。为确保人类实验对象无法使用除检测到的局部图像意外的任何先验信息，我们创建了可展示局部检测的可视化图，此类图中并无其他信息。以下为示例。