NMS, Non Maximum Suppression, 非极大值抑制, 在目标检测中,被用于后期的物体边界框去除.
1. NMS 原理
NMS 对检测得到的全部 boxes 进行局部的最大搜索,以搜索某邻域范围内的最大值,从而滤出一部分 boxes,提升最终的检测精度.
NMS :
[1] - 输入: 检测到的Boxes(同一个物体可能被检测到很多Boxes,每个box均有分类score)
[2] - 输出: 最优的Box.
[3] - 过程: 去除冗余的重叠 Boxes,对全部的 Boxes 进行迭代-遍历-消除. 1.将所有框的得分排序,选中最高分及其对应的框; 2. 遍历其余的框,如果和当前最高分框的重叠面积(IOU)大于一定阈值,则将框删除; 3. 从未处理的框中继续选一个得分最高的,重复上述过程.
例如: 假设某物体检测到 4 个 Boxes,每个 Box 分别对应一个类别 Score,根据 Score 从小到大排列依次为,(B1, S1), (B2, S2), (B3, S3), (B4, S4). S4 > S3 > S2 > S1.
- Step 1. 根据Score 大小,从 Box B4 框开始;
- Step 2. 分别计算 B1, B2, B3 与 B4 的重叠程度 IoU,判断是否大于预设定的阈值;如果大于设定阈值,则舍弃该 Box;同时标记保留的 Box. 假设 B3 与 B4 的阈值超过设定阈值,则舍弃 B3,标记 B4 为要保留的 Box;
- Step 3. 从剩余的 Boxes 中 B1, B2 中选取 Score 最大的 B2, 然后计算 B2 与 剩余的 B1 的重叠程度 IoU;如果大于设定阈值,同样丢弃该 Box;同时标记保留的 Box.
- 重复以上过程,直到找到全部的保留 Boxes.
2. Fast R-CNN 中 NMS 实现
import numpy as np
def nms(dets, thresh):
# dets: 检测的 boxes 及对应的 scores
# thresh: 设定的阈值
# boxes 位置
x1 = dets[:, 0]
y1 = dets[:, 1]
x2 = dets[:, 2]
y2 = dets[:, 3]
# boxes scores
scores = dets[:, 4]
areas = (x2 - x1 + 1) * (y2 - y1 + 1) # 各 box 的面积
order = scores.argsort()[::-1] # boxes 的按照 score 排序
keep = [] # 记录保留下的 boxes
while order.size > 0:
i = order[0] # score 最大的 box 对应的 index
keep.append(i) # 将本轮 score 最大的 box 的 index 保留
# 计算剩余 boxes 与当前 box 的重叠程度 IoU
xx1 = np.maximum(x1[i], x1[order[1:]])
yy1 = np.maximum(y1[i], y1[order[1:]])
xx2 = np.minimum(x2[i], x2[order[1:]])
yy2 = np.minimum(y2[i], y2[order[1:]])
w = np.maximum(0.0, xx2 - xx1 + 1) # IoU
h = np.maximum(0.0, yy2 - yy1 + 1)
inter = w * h
ovr = inter / (areas[i] + areas[order[1:]] - inter)
# 保留 IoU 小于设定阈值的 boxes
inds = np.where(ovr <= thresh)[0]
order = order[inds + 1]
return keep
3. 参考
[1] - 目标窗口检测算法-NMS非极大值抑制
[2] - NMS——非极大值抑制
2 comments
order[inds + 1]这个+1怎么理解
拿下一个数据