使用 OpenCV 从图像中提取多边形给定坐标

Question

我有以下几点：

     <data:polygon>
                            <data:point x="542" y="107"/>
                            <data:point x="562" y="102"/>
                            <data:point x="582" y="110"/>
                            <data:point x="598" y="142"/>
                            <data:point x="600" y="192"/>
                            <data:point x="601" y="225"/>
                            <data:point x="592" y="261"/>
                            <data:point x="572" y="263"/>
                            <data:point x="551" y="245"/>
                            <data:point x="526" y="220"/>
                            <data:point x="520" y="188"/>
                            <data:point x="518" y="152"/>
                            <data:point x="525" y="127"/>
                            <data:point x="542" y="107"/
 </data:polygon>

我想在图像中绘制由这些点定义的多边形，然后提取它。 我如何使用 OpenCV 和 python 做到这一点？

Answer 1

使用cv2.fillConvexPoly以便您可以指定一个二维点数组并定义一个遮罩，该遮罩将这些点定义的形状填充为遮罩中的白色。 在多边形中定义的点是凸的（因此名称为fillConvexPoly ）时，应该发出一些公平的警告。

然后我们可以将其转换为布尔掩码，并使用它来索引您的图像以提取出您想要的像素。 下面的代码生成一个名为mask的数组，它将包含要从图像中保存的像素的布尔掩码。 此外，数组out将包含由多边形定义的所需提取子图像。 请注意，图像被初始化为完全黑暗，并且唯一要复制的像素是多边形定义的像素。

假设实际图像称为img ，并假设您的x和y点表示图像中的水平和垂直坐标，您可以执行以下操作：

import numpy as np
import cv2

pts = np.array([[542, 107], [562, 102], [582, 110], [598, 142], [600, 192], [601, 225], [592, 261], [572, 263], [551, 245], [526, 220], [520, 188], [518, 152], [525, 127], [524, 107]], dtype=np.int32)

mask = np.zeros((img.shape[0], img.shape[1]))

cv2.fillConvexPoly(mask, pts, 1)
mask = mask.astype(np.bool)

out = np.zeros_like(img)
out[mask] = img[mask]

除了要复制的区域外， out应该都是黑色的。 如果要显示此图像，可以执行以下操作：

cv2.imshow('Extracted Image', out)
cv2.waitKey(0)
cv2.destroyAllWindows()

这将显示从多边形点提取的图像并等待您按下的键。 查看完图像后，只要显示窗口有焦点，您就可以按任意键。

如果要将此图像保存到文件，请执行以下操作：

cv2.imwrite('output.png', out)

这会将图像保存到名为output.png的文件中。 我指定了 PNG 格式，因为它是无损的。

---

作为一个简单的测试，让我们定义一个300 x 700的白色图像，它远远超出您定义的最大坐标。 让我们提取出由该多边形定义的区域并显示输出的样子。

img = 255*np.ones((300, 700, 3), dtype=np.uint8)

使用上面的测试图像，我们得到这个图像：

编辑

如果您想翻译提取的图像使其位于中间，然后在边界框周围放置一个正方形，我建议的一个技巧是使用cv2.remap来翻译图像。 完成后，使用cv2.rectangle绘制正方形。

cv2.remap工作原理是，对于输出中的每个像素，您需要指定要访问源图像中像素位置的空间坐标。 因为您最终将输出移动到图像的中心，所以您需要为目标图像中的每个x和y位置添加一个偏移量以获得源像素。

要找出移动图像的正确偏移量，只需找出多边形的质心，平移多边形使质心位于原点，然后重新平移使其位于图像的中心。

使用我们上面定义的变量，您可以通过以下方式找到质心：

(meanx, meany) = pts.mean(axis=0)

找到质心后，取所有点并减去该质心，然后添加适当的坐标以重新平移到图像的中心。 可以通过以下方式找到图像的中心：

(cenx, ceny) = (img.shape[1]/2, img.shape[0]/2)

将坐标转换为整数也很重要，因为像素坐标是这样的：

(meanx, meany, cenx, ceny) = np.floor([meanx, meany, cenx, ceny]).astype(np.int32)

现在要计算偏移量，请按照我们之前讨论的方式执行此操作：

(offsetx, offsety) = (-meanx + cenx, -meany + ceny)

现在，翻译您的图像。 您需要为输出图像中的每个像素定义一个映射，其中对于目标图像中的每个点(x,y) ，您需要提供从源中采样的位置。 我们计算的偏移量将每个源像素转换为目标位置。 因为我们正在做相反的事情，对于每个目标像素，我们要找到要从中采样的源像素，我们必须减去偏移量，而不是添加。 因此，首先通常定义一个(x,y)点的网格，然后减去偏移量。 完成后，翻译图像：

(mx, my) = np.meshgrid(np.arange(img.shape[1]), np.arange(img.shape[0]))
ox = (mx - offsetx).astype(np.float32)
oy = (my - offsety).astype(np.float32)
out_translate = cv2.remap(out, ox, oy, cv2.INTER_LINEAR)

如果我们用上面的例子显示out_translate ，我们得到的是：

---

凉爽的！ 现在是时候在此图像上绘制矩形了。 你所要做的就是找出矩形的左上角和右下角。 这可以通过获取多边形的左上角和右下角并添加偏移量以将这些点移动到图像的中心来完成：

topleft = pts.min(axis=0) + [offsetx, offsety]
bottomright = pts.max(axis=0) + [offsetx, offsety]
cv2.rectangle(out_translate, tuple(topleft), tuple(bottomright), color=(255,0,0))

如果我们展示这张图片，我们会得到：

---

上面的代码在居中的图像周围绘制一个蓝色的矩形。 因此，从开始（提取像素区域）到结束（平移和绘制矩形）的完整代码是：

# Import relevant modules
import numpy as np
import cv2

# Define points
pts = np.array([[542, 107], [562, 102], [582, 110], [598, 142], [600, 192], [601, 225], [592, 261], [572, 263], [551, 245], [526, 220], [520, 188], [518, 152], [525, 127], [524, 107]], dtype=np.int32)

### Define image here
img = 255*np.ones((300, 700, 3), dtype=np.uint8)

# Initialize mask
mask = np.zeros((img.shape[0], img.shape[1]))

# Create mask that defines the polygon of points
cv2.fillConvexPoly(mask, pts, 1)
mask = mask.astype(np.bool)

# Create output image (untranslated)
out = np.zeros_like(img)
out[mask] = img[mask]

# Find centroid of polygon
(meanx, meany) = pts.mean(axis=0)

# Find centre of image
(cenx, ceny) = (img.shape[1]/2, img.shape[0]/2)

# Make integer coordinates for each of the above
(meanx, meany, cenx, ceny) = np.floor([meanx, meany, cenx, ceny]).astype(np.int32)

# Calculate final offset to translate source pixels to centre of image
(offsetx, offsety) = (-meanx + cenx, -meany + ceny)

# Define remapping coordinates
(mx, my) = np.meshgrid(np.arange(img.shape[1]), np.arange(img.shape[0]))
ox = (mx - offsetx).astype(np.float32)
oy = (my - offsety).astype(np.float32)

# Translate the image to centre
out_translate = cv2.remap(out, ox, oy, cv2.INTER_LINEAR)

# Determine top left and bottom right of translated image
topleft = pts.min(axis=0) + [offsetx, offsety]
bottomright = pts.max(axis=0) + [offsetx, offsety]

# Draw rectangle
cv2.rectangle(out_translate, tuple(topleft), tuple(bottomright), color=(255,0,0))

# Show image, wait for user input, then save the image
cv2.imshow('Output Image', out_translate)
cv2.waitKey(0)
cv2.destroyAllWindows()
cv2.imwrite('output.png', out_translate)