将重叠矩形与 OpenCV 合并

Question

我同时使用两种 Haar 级联算法（正面和侧面）和 OpenCV 来改进人脸检测。

不幸的是，检测无法正常工作，我不知道如何修复它。 返回值是 2（在一张有 5 张人脸的图片上，正常检测到）并且所有的矩形都消失了。

这是预期的结果（没有重叠的矩形）：

如果您想自己进行测试，这是原始图片（以及result.jpg）。

这是代码：

import cv2
import numpy as np

image=cv2.imread("/home/pi/Downloads/test.jpg")
face_cascade=cv2.CascadeClassifier("/home/pi/opencv-3.4.0/data/haarcascades/haarcascade_frontalface_alt.xml")
profil_cascade=cv2.CascadeClassifier("/home/pi/opencv-3.4.0/data/haarcascades/haarcascade_profileface_alt.xml")

gray=cv2.cvtColor(image,cv2.COLOR_BGR2GRAY)
face=face_cascade.detectMultiScale(gray, 1.06, 5)
profil=profil_cascade.detectMultiScale(gray, 1.1, 5)

combined_array=np.append(face, profil, axis=0)
combined_list=combined_array.tolist()
result=cv2.groupRectangles(combined_list,2)

print("I've found "+str(len(result))+ " face(s)")

for (x,y,w,h) in result[0]:
    cv2.rectangle(image,(x,y),(x+w,y+h),(0,0,255),2)

cv2.imwrite("/home/pi/Download/result.jpg", image)

Answer 1

非最大抑制算法用于解决检测结果重叠的问题。 pyimagesearch有一篇关于它的非常好的文章和代码，可以让你朝着正确的方向前进。

Answer 2

经过大量研究，我已经部分解决了这个问题。

我已经改变了阈值和的EPS result=cv2.groupRectangles和我也使在减法print功能之间测得的总的面部的数量（在combined_list）和重叠的检测次数（由结果返回）

这是新代码：

import cv2
import numpy as np

image=cv2.imread("/home/pi/Downloads/test.jpg")
face_cascade=cv2.CascadeClassifier("/home/pi/opencv-3.4.0/data/haarcascades/haarcascade_frontalface_alt.xml")
profil_cascade=cv2.CascadeClassifier("/home/pi/opencv-3.4.0/data/haarcascades/haarcascade_profileface_alt.xml")

gray=cv2.cvtColor(image,cv2.COLOR_BGR2GRAY)
face=face_cascade.detectMultiScale(gray, 1.06, 5)
profil=profil_cascade.detectMultiScale(gray, 1.1, 5)

combined_array=np.append(face, profil, axis=0)
combined_list=combined_array.tolist()
result=cv2.groupRectangles(combined_list,1,0.85)

print("I've found "+str(len(combined_list)-str(len(result[1]))+ " face(s)")

for (x,y,w,h) in result[0]:
    cv2.rectangle(image,(x,y),(x+w,y+h),(0,0,255),2)

cv2.imwrite("/home/pi/Download/result.jpg", image)

重叠的矩形消失了......还有其他矩形！

最后，程序给了我正确的面数 (5) 并重绘重叠矩形（这是个好消息），但非重叠矩形已经消失......

我试着通过使用来解决这个np.subtract之间从combined_list和结果的坐标，然后绘制矩形失踪与for (x,y,w,h) in np.subtract[0]但它没有工作. 原因是重叠矩形的坐标点是直接重新计算的，所以不能和原来的坐标点做减法

如果有人有解决此问题的想法，请不要犹豫:)

Answer 3

openCV 函数 groupRectangles 需要 3 个输入。

1) rectList : 矩形向量

2) groupthreshold :最小可能的矩形数减 1

3) eps : 矩形边之间的相对差以将它们合并为一组

您的代码：

   result=cv2.groupRectangles(combined_list,1,0.85)

从您的代码中，您已将 groupthreshold 参数设置为 1，这将拒绝具有一个矩形的所有集群。 将此参数设置为 0，您应该会得到您想要的结果。

解决方案：

   result=cv2.groupRectangles(combined_list,0,0.85)

详细解释如下：（ https://docs.opencv.org/3.4/d5/d54/group__objdetect.html#ga3dba897ade8aa8227edda66508e16ab9 ）