论文： Cascade R-CNN: Delving into High Quality Object Detection - CVPR2018

作者：Zhaowei Cai, Nuno Vasconcelos

团队：UC San Diego, UC San Diego

Github - zhaoweicai/cascade-rcnn(Caffe)

Github - zhaoweicai/Detectron-Cascade-RCNN

Github - open-mmlab/mmdetection(PyTorch)

Github - tensorpack/tensorpack(TensorFlow)

Cascade R-CNN 关于的是如何选择最佳 IoU.

目标检测任务中，IoU(intersection over union) 阈值往往被用于定义正样本和负样本的选取. 采用低 IoU 阈值训练的目标检测器，通常会产生很多冗余检测结果，如 IoU=0.5. 而增加 IoU 阈值，会导致检测器性能下降. 分析其原因在于：

[1] - 由于正样本的指数级衰减，导致训练的过拟合(正样本被过滤，导致样本数量过少).

[2] - 由于训练时采用的 IoU 和检测的最优 IoU 的不一致性，导致 mismatch.

Cascade R-CNN 方法是采用逐渐递增的 IoU 阈值训练的序列的检测器，其序列化地选择更优的正样本和负样本. 其训练是 stage-by-stage 的.

1. 问题描述

目标检测主要解决两个任务：

[1] - 目标检测器需要解决类别识别问题，以从背景中区分前景目标，并分配给目标物体以正确的类别标签.

[2] - 目标检测器需要解决物体定位问题，以分配给不同目标物体以精确的边界框.

由于目标检测面临着许多“很接近(close)” 的负样本，其对应着“接近但并不正确(close but not correct)” 边界框，导致目标检测器必须找到正确的正样本，同时过滤这些接近的负样本.

现阶段很多目标检测器是基于 two-stage R-CNN 框架的，其是一个 multi-task 问题，同时进行物体分类和边界框识别. 训练时，一般是首先提取 region proposals，然后再对 proposals 进行分类，同时将 proposals 回归到对应的 GT boxes. 其中，由于要对 proposals 进行分类以确定类别标签，首先就要确定对哪些 proposals 进行分类. 最普遍的做法是，利用 proposals 与 GT boxes 的 IoU 来选择，如 IoU=0.5. IoU 阈值是用于定义正样本和负样本选取的必要项.

关于 IoU 阈值的选择，如下图：

图(a)中，目标检测器常用 IoU 阈值为 0.5，其对于正样本是比较宽松的标准. 因此，结果中往往会包含很多冗余边界框. 普遍认为，接近假正样本(false positives) 一般都能通过 IoU >= 0.5 的测试. 虽然低于 IoU=0.5 阈值的样本也是丰富和多样化的，但它们会导致检测器难以有效的区分相似的假正样本(close false positives)，难以进行训练.

图(b) 中，将 IoU 阈值设为 0.7，可以减少冗余检测框的数量，使检测器的输出中包含较少的接近假正样本(close false positives).

图(c) 中，横轴是 proposal boxes 与 GT boxes 的 IoU，纵轴为回归后所预测的 boxes 与 GT boxes 的 IoU，纵轴的值越大越好. 可以看出，相比于 baseline，其它的 IoU 表现都更好. IoU 越高，检测器的预测结果更好. 从该图可以看出，每个边界框回归器对于输入 IoU 与检测器训练时所采用的 IoU 阈值相接近时(设定IoU阈值的周围)，性能表现最优. 目标检测器中回归器的输出 IoU 一般会优于输入 IoU，且随着 u 的增大，对于大于 IoU 阈值的 proposals 的优化效果有一定的提升作用.

图(d) 中，IoU 阈值设为 0.7 时，检测器的精度明显较低. 而在 0.5 和 0.6 时，精度相差不大，IoU=0.5 还有少许的提升. 也就是说，仅仅增大训练时所采用的 IoU 阈值是不可行的，并不能提升检测器的精度. 其原因在于：(1) IoU 阈值增大，导致正样本数量指数级减少，模型训练出现过拟合; (2) 在推断(inference)时，采用的 IoU 阈值与训练时采用的 IoU 阈值不匹配，也导致检测器精度下降.

Cascade R-CNN 的基本思想是，单一检测器只能是对单一 IoU 层次是最优的. Cascade R-CNN 考虑了对给定 IoU 阈值的优化. 即，采用级联的方式，首先利用 IoU=0.5 的网络，提升输入的 proposals；比如 IoU 提升到 0.6，再利用IoU=0.6的网络进一步的提升；比如 IoU 提升到 0.7，再利用IoU=0.7 的网络进行提升. 逐步的提升检测器的精度.

Cascade R-CNN is a multi-stage extension of the R-CNN, where detector stages deeper into the cascade are sequentially more selective against close false positives. The cascade of R-CNN stages are trained sequentially, using the output of one stage to train the next. This is motivated by the observation that the output IoU of a regressor is almost invariably better than the input IoU.

2. 目标检测

如下图：

图中，对于 Faster R-CNN，

[1] - first stage，H0 为 proposal sub-network，用于对整个输入图像进行处理，输出初步的检测结果，即：object proposals. 如 RPN.

[2] - second stage，H2 为 RoI 检测 sub-network，用于对 object proposals 进行处理，记为：detection head.

[3] - final stage，C 为 classification score；B 为 bounding box，分别对应到每个 RoI 的输出.

2.1. 边界框回归

边界框 $\mathbf{b}=(b_x,b_y,b_w,b_h)$，表示了图片 $x$ 的四个坐标.

边界框回归任务旨在,采用回归器 $f(x,\mathbf{b})$ 将候选边界框 $\mathbf{b}$ 回归到目标边界框 $\mathbf{g}$.

回归器 $f(x,\mathbf{b})$ 可以描述为，基于训练样本 $\{{\mathbf{g}}_i,{\mathbf{b}}_i\}$，最小化边界框损失函数：

$${\mathcal{R}}_{loc}[f]=\sum _{i=1}^N{L}_{loc}(f(x_i,{\mathbf{b}}_i),{\mathbf{g}}_i)$$

其中，$L_{loc}$ 在 R-CNN 中采用的是 L2 损失函数，而在 Fast R-CNN 采用的是 smoothed L1 损失函数.

为了进一步增强回归器关于尺度和位置(scale vs. location)的不变性，$L_{loc}$ 是基于距离向量 $\mathrm{\Delta }=({\delta }_x,{\delta }_y,{\delta }_w,{\delta }_h)$ 进行的计算：

$$\{\begin{array}{l}{\delta }_x=\frac{g_x-b_x}{b_w}\\ {\delta }_y=\frac{g_y-b_y}{b_h}\\ {\delta }_w=log(\frac{g_w}{b_w})\\ {\delta }_h=log(\frac{g_h}{b_h})\end{array}$$

由于边界框回归往往是关于 $b$ 的很小的调整，计算得到的 $\delta$ 的数值可能非常小，因此，边界框损失函数的 loss 值通常比分类任务的值小. 对此，为了提升 multi-task 学习的有效性，$\mathrm{\Delta }$ 往往采用其均值和方差进行归一化，如：

$$\{\begin{array}{l}{\delta }_x^{\prime }=\frac{{\delta }_x-{\mu }_x}{{\sigma }_x}\\ {\delta }_y^{\prime }=\frac{{\delta }_y-{\mu }_y}{{\sigma }_y}\\ {\delta }_w^{\prime }=\frac{{\delta }_w-{\mu }_w}{{\sigma }_w}\\ {\delta }_h^{\prime }=\frac{{\delta }_h-{\mu }_h}{{\sigma }_h}\end{array}$$

2.2. 迭代边界框回归

在 Cascade R-CNN 之前，也有研究说明了，单一回归 $f$ 处理不足以精确定位. 需要迭代的应用 $f$ 进行处理，以逐渐精细化边界框 $\mathbf{b}$：

$$f^{\prime }(x,\mathbf{b})=f\circ f\circ ...\circ f(x,\mathbf{b})$$

这种方法被称为：迭代边界框回归(iterative bounding box regression)，记为：iterative BBox. 如Figure3(b)，其所有的 head 网络是相同的.

但是，迭代边界框回归忽略了两个问题：

[1] - 如图 Figure1 中所示，采用 IoU=0.5 训练的回归器 $f$ ，其对于 IoU 更高的图像检测效果是非最优的. 实际上，对于 IoU 大于 0.85 的情况，其反而会对边界框有负影响.

[2] - 如下图 Figure2 所示，每次迭代后边界框的分布变化比较大. 尽管对于初始分布而言，回归器是最优的，但后面迭代后的可能非最优.

2.3. 边界框分类

分类器函数 $h(x)$ 用于从 M+1(背景+物体类别) 个类别标签中选择一个进行分配.

$h(x)$ 是 M+1 维的关于类别的后验分布估计：

$$h_k(x)=p(y=k|x)$$

其中，$y$ 是类别标签.

给定训练数据集 $(x_i,y_i)$，分类的损失函数为：

$${\mathcal{R}}_{cls}[h]=\sum _{i=1}^N{L}_{cls}(h(x_i),y_i)$$

其中，$L_{cls}$ 为经典交叉熵损失函数.

2.4. 检测质量

边界框往往包含目标物体和一些背景，其很难判断检测结果是正样本还是负样本.

这个问题一般是采用 IoU 度量来解决的. 如果 IoU 大于阈值 $u$，则认为是正样本. 因此，

$$x=\{\begin{array}{ll}{g}_y& IoU(x,g)\ge u\\ 0& \text{otherwise }\end{array}$$

其中，$g_y$ 是 GT $g$ 的类别标签. IoU 阈值 $u$ 定义了检测器的质量.

目标检测的挑战性在于，阈值等检测设置是高度对抗的. 当 IoU 阈值 $u$ 增大，则正样本数量减少，导致训练样本不足. 当 IoU 阈值 $u$ 减小，正样本的训练数据集更多更丰富，但是训练的检测器对于接近假正样本的处理能力不够. 一般来说，很难采用单个分类器能够对所有的 IoU 层级都有很好的结果.

推断阶段，由于采用 RPN 等 proposal detector 产生的大部分 proposals 都质量较低，检测器必须对于较低质量的 proposals 具有较好的判别能力.

一种直接的解决方案是，多个分类器的融合，如图 Figure3(c)，在不同质量层级的优化损失函数：

$$L_{cls}(h(x),y)=\sum _{u\in U}{L}_{cls}(h_u(x),y_u)$$

其中，$U$ 是 IoU 阈值集合.

这很类似于 integral loss，其 $U=\{0.5,0.55,...,0.75\}$，用于 COCO 竞赛的评测度量. 顾名思义，仅用于在推断阶段的分类器融合.

其难以处理的问题在于，公式(8) 中的不同损失函数对于不同数量正样本的处理.

如图 Figure4，随着 IoU 阈值 $u$ 的增加，正样本数据集减少的很快，这就会容易导致训练的过拟合.

3. Cascade R-CNN

Cascade R-CNN 如图 Figure3(d).

3.1. Cascade R-CNN 的边界框回归

级联回归器：

$$f(x,\mathbf{b})=f_T\circ f_{T-1}\circ ...\circ f_1(x,\mathbf{b})$$

其中，$T$ 是 cascade stages 的总数.

在同一阶段，每个回归器 $f_t$ 是关于相同的分布 $\{{\mathbf{b}}^t\}$ 进行优化的，而不是初始分布 $\{{\mathbf{b}}^1\}$.

相比于 Figure3(b) 中的迭代边界框回归(iterative BBox) 结构，Cascade R-CNN 的区别在于：

[1] - iterative BBox 是用于提升边界框的后处理流程，而 Cascade R-CNN的回归是一种重采样流程，其会改变不同 stages 处理后的 proposals 的分布，训练时不同 stage 的输入数据分布是不同的.

[2] - Cascade R-CNN 在训练和推断是都要使用，因此不存在训练和推断间的差异性.

[3] - 回归器 $\{f_T,f_{T-1},...,f_1\}$ 是对于不同 stages 的重采样分布(resampled distributions) 进行优化的.

3.2. Cascaded 检测

如图 Figure4 的左图所示，初始 proposals 的分布，如 RPN proposals，往往是低质量的，不可避免的会引入对于分类器的无效学习.

根据 Figure 1(c) 中所有曲线都在对角线之上的事实，如，采用特定 IoU 阈值 $u$ 训练的边界框回归器往往能够得到更高 IoU 的边界框. 对此，Cascade R-CNN 通过采用 cascade 回归作为一种重采样机制(resampling mechanism).

从样本集 $(x_i,{\mathbf{b}}_i)$ 开始，cascade 回归依次对更高 IoU 的样本分布 $(x_i^{\prime },{\mathbf{b}}_i^{\prime })$ 进行重采样. 这种方式有助于保持各 stages 的正样本数据集.

对于每个 stage $t$，Cascade R-CNN 包含一个关于 IoU 阈值 $u^t$ 的分类器 $h_t$ 和回归器 $f_t$，其中，$u^t>u^{t-1}$. 最小化损失函数：

$$L(x^t,g)=L_{cls}(h_t(x^t),y^t)+\lambda [y^t\ge 1]L_{loc}(f_t(x^t,{\mathbf{b}}^t),\mathbf{g})$$

其中，${\mathbf{b}}^t=f_{t-1}(x^{t-1},{\mathbf{b}}^{t-1})$. $g$ 为 $x^t$ 的 GT. $\lambda =1$ 为惩罚系数. $[\cdot ]$ 表示指示器函数. $y^t$ 是给定 $u^t$ 的 $x^t$ 的类别标签，由公式(7) 计算得到.

## 4. Results

4.1. 实现细节

Cascade R-CNN 的所有 cascade detection stages 具有相同的结构，即 baseline detection network 的 head 网络.

Cascade R-CNn 包含 4 个 stages，第一个 stage 用于 RPN，其它三个 stages 采用的 IoU 阈值为 $U=\{0.5,0.6,0.7\}$.

数据增强只有水平图片翻转.

推断阶段仅采用单一图片尺度.

4.2. 论文结果

5. 相关

[1] - 目标检测-Cascade R-CNN-论文笔记

[2] - Cascade R-CNN: Delving into High Quality Object Detection

[3] - Cascade R-CNN: Delving into High Quality Object Detection - 知乎

[4] - 一文带你读懂Cascade R-CNN，一个使你的检测更加准确的网络