OpenCV 匹配模板 - 阈值永远不等于 1

Question

我有一个 HTML 5 Web 应用程序，它使用 Canvas 元素来绘制一个丰富的 UI，我需要为其编写一些自动化测试。

由于没有公开的 API 可以让我们知道在 Canvas 元素上渲染了什么，因此我决定使用 OpenCV 持续扫描浏览器中的渲染内容，以便找出何时绘制了某些内容。

因此，我使用以下类：

class IMGLocator:

    def __init__(self, path):
        self.reference = cv.imread(path)

    def find(self, image):
        ref  = cv.cvtColor(self.reference, cv.COLOR_BGR2GRAY)
        nparr = numpy.frombuffer(image, numpy.uint8)
        sourceRGB = cv.imdecode(nparr, cv.IMREAD_UNCHANGED)
        sourceGRAY = cv.cvtColor(sourceRGB, cv.COLOR_BGR2GRAY)
        w, h = ref.shape[::-1]
        res = cv.matchTemplate(sourceGRAY, ref, cv.TM_CCOEFF_NORMED)
        threshold = 0.98
        loc = numpy.where(res >= threshold)

        return cv.rectangle(sourceRGB, (loc[1][0], loc[0][0]), (loc[1][0] + w, loc[0][0] + h), (255, 0, 0), 2)

目前，该类在匹配的区域上绘制一个蓝色矩形。

这是脚本的主要入口点。

if __name__ == "__main__":
    driver = webdriver.Firefox()
    driver.get(BACKOFFICE_URI)
    locator = IMGLocator("REF.AUTHENTICATION.jpg")

    time.sleep(5)
    data = locator.find(driver.get_screenshot_as_png())

我想要一个完全匹配，所以我尝试将阈值设置为 1，但是，没有结果。

这怎么可能，是否有返回完全匹配的功能？

Answer 1

各种模板匹配模式使用的公式见https://docs.opencv.org/master/df/dfb/group__imgproc__object.html

注意_NORMED 分母的平方根。 假设像素确实相同，您可能会看到从平方根浮点实数的不精确表示中产生的错误伪影。 因此，如果您已决定使用两种 _NORMED 模式中的一种，则您会遇到使用阈值。 或者，考虑 cv2.TM_SQDIFF 并寻找最小值。 （无论哪种方式， cv2.minMaxLoc()都是你的朋友。）