删除模糊或取消屏蔽图像

Question

我正在使用 MTCNN 来检测图像中的人脸，使用 FAC.NET 从每个检测到的人脸中提取和保存特征，并使用 OpenCV 高斯模糊过滤器来掩盖检测到的人脸。

    def face_and_features(img):
    boxes, _ = mtcnn.detect(img)
    print(boxes)

    for i, box in enumerate(boxes):
        a,b,c,d = box
        x1,y1,x2,y2 = int(a), int(b), int(c), int(d)
        face = img[y1:y2, x1:x2]
        cv2.imwrite(f"face{i}.jpg",face)
        
        face = cv2.resize(face, (160, 160))
        face = face.transpose((2, 0, 1))
        face = torch.from_numpy(face).float()
        face = face.unsqueeze(0)

        features = facenet(face)

        filename = "face_{}.npy".format(i)
        np.save(filename, features.detach().numpy())
        with open("bounding_boxes.txt", "a") as f:
            f.write("{}, {}, {}, {}, {}, {}, {} \n".format(x1, y1, x2, y2, filename, datetime.datetime.now(), frame_number))
    return features
       
def masking(img):
    filename = "bounding_boxes.txt"
    masked_img = img.copy()
    with open(filename,'r') as file:
        for line in file:
            x,y,w,h,f_name,time, f_no = line.split(",")
            x,y,w,h = int(x), int(y), int(w), int(h)
            roi_color = masked_img[y:h, x:w]
            masked_img[y:h, x:w] = cv2.GaussianBlur(roi_color, (51,51), 0)
    return masked_img, f_name, time, f_no

我的最终目标是通过比较保存的面部特征（或任何其他方法）和仅取消遮罩目标面部来在遮罩图像中找到目标面部。 有什么想法或建议吗？

Answer 1

您的代码基本上是使用 MTCNN 检测人脸，使用 FAC.NET 从每张人脸中提取特征并保存，然后使用 OpenCV 高斯模糊滤镜模糊图像中的人脸。

要在蒙版图像中找到目标人脸，您可以将保存的特征与从目标人脸中提取的特征进行比较。 您可以使用余弦相似度来计算保存的特征与目标人脸特征之间的相似度。 相似度最高的人脸就是目标人脸。

在遮罩 function 中，您可以添加一个步骤，通过用原始面部区域替换模糊区域来取消遮罩目标面部。

这是实现我上面提到的步骤的示例代码：

def compare_features(target_face, saved_features):
    target_face = cv2.resize(target_face, (160, 160))
    target_face = target_face.transpose((2, 0, 1))
    target_face = torch.from_numpy(target_face).float()
    target_face = target_face.unsqueeze(0)

    target_features = facenet(target_face)
    similarity_scores = []
    for i, feature in enumerate(saved_features):
        score = cosine_similarity(target_features, feature)
        similarity_scores.append((i, score))
    return max(similarity_scores, key=lambda x: x[1])

def unmask_target_face(img, target_index, x, y, w, h):
    target_face = img[y:h, x:w]
    masked_img = img.copy()
    masked_img[y:h, x:w] = target_face
    return masked_img

def find_target_face(img, saved_features):
    target_face, target_coords = detect_target_face(img)
    target_index, score = compare_features(target_face, saved_features)
    x, y, w, h = target_coords[0], target_coords[1], target_coords[2], target_coords[3]
    unmasked_img = unmask_target_face(img, target_index, x, y, w, h)
    return unmasked_img

saved_features = [np.load(f"face_{i}.npy") for i in range(len(boxes))]
masked_img, _, _, _ = masking(img)
unmasked_img = find_target_face(masked_img, saved_features)