使用Python中的OpenCV访问轮廓边界内的像素值

Question

我在Python 2.7.9上使用OpenCV 3.0.0。 我正在尝试跟踪具有静止背景的视频中的对象，并估计其某些属性。 由于图像中可能存在多个移动对象，因此我希望能够区分它们并在视频的剩余帧中单独跟踪它们。

我认为可以做到的一种方法是将图像转换为二进制，获取斑点的轮廓（在这种情况下为跟踪对象）并获取对象边界的坐标。 然后我可以转到灰度图像中的这些边界坐标，获得由该边界包围的像素强度，并跟踪其他帧中的这种颜色梯度/像素强度。 这样，我可以保持两个对象彼此分开，因此它们不会被视为下一帧中的新对象。

我有轮廓边界坐标，但我不知道如何检索该边界内的像素强度。 有人可以帮帮我吗？

谢谢！

Answer 1

继续我们的评论，你可以做的是创建一个numpy数组列表，其中每个元素是描述每个对象轮廓内部的强度。 具体来说，对于每个轮廓，创建一个二进制遮罩，填充轮廓内部，找到填充对象的(x,y)坐标，然后索引到图像中并获取强度。

我不知道你是如何设置代码的，但我们假设你有一个灰度图像img 。 您可能需要将图像转换为灰度，因为cv2.findContours适用于灰度图像。 有了这个，通常调用cv2.findContours ：

import cv2
import numpy as np

#... Put your other code here....
#....

# Call if necessary
#img = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# Call cv2.findContours
contours,_ = cv2.findContours(img, cv2.RETR_LIST, cv2.cv.CV_CHAIN_APPROX_NONE)

contours现在是3D numpy数组的列表，其中每个都是大小为N x 1 x 2 ，其中N是每个对象的轮廓点总数。

因此，您可以像这样创建我们的列表：

# Initialize empty list
lst_intensities = []

# For each list of contour points...
for i in range(len(contours)):
    # Create a mask image that contains the contour filled in
    cimg = np.zeros_like(img)
    cv2.drawContours(cimg, contours, i, color=255, thickness=-1)

    # Access the image pixels and create a 1D numpy array then add to list
    pts = np.where(cimg == 255)
    lst_intensities.append(img[pts[0], pts[1]])

对于每个轮廓，我们创建一个空白图像，然后在此空白图像中绘制填充的轮廓。 您可以通过将thickness参数指定为-1来填充轮廓占用的区域。 我将轮廓的内部设置为255.之后，我们使用numpy.where查找数组中与特定条件匹配的所有行和列位置。 在我们的例子中，我们想要找到等于255的值。之后，我们使用这些点来索引我们的图像以获取轮廓内部的像素强度。

lst_intensities包含1D numpy数组的列表，其中每个元素为您提供属于每个对象轮廓内部的强度。 要访问每个数组，只需执行lst_intensities[i] ，其中i是您要访问的轮廓。

Answer 2

来自@rayryeng的回答非常好！

我实现的一件小事是： np.where()返回一个元组，它包含一个行索引数组和一个列索引数组。 因此， pts[0]包括row indices列表，其对应于图像的高度， pts[1]包括column indices的列表，其对应于图像的宽度。 img.shape返回(rows, cols, channels) 。 所以我认为应该是img[pts[0], pts[1]]来切割img背后的ndarray 。

Answer 3

对不起，我不能在第一个正确的答案中添加这个作为评论，因为我没有足够的声誉这样做。

实际上，上面的漂亮代码有一点改进：我们可以跳过我们得到点的线，因为灰度图像和np.zeros临时图像具有相同的形状，我们可以使用里面的'where'括号直接。 像这样的东西：

# (...) opening image, converting into grayscale, detect contours (...)
intensityPer = 0.15
for c in contours:
    temp = np.zeros_like(grayImg)
    cv2.drawContours(temp, [c], 0, (255,255,255), -1)
    if np.mean(grayImg[temp==255]) > intensityPer*255:
        pass # here your code

通过该样本，我们确保轮廓内的区域的平均强度将是最大强度的至少15％