在嘈杂的图像中检测颜色几乎不变的垂直矩形

Question

我有一个带有几个矩形的嘈杂图像。 从视觉上讲，矩形非常明显。 它们都是垂直或水平的，它们不会以不同的角度出现。 它们的颜色/强度也相当恒定。 我想检测这些矩形，如果可能的话，检测其他矩形内部或顶部/交叉的矩形。

原图：

具有预期矩形/正方形的图像（可能有细垂直线，它们是否被检测为矩形并不重要）：

据我所知，这是一项相当体力的工作，需要

1. 将图像转换为 8 位灰度（我的图像已经是灰度的）
2. 添加高斯噪声以平滑图像
3. 将结果转换为黑白，例如使用adaptiveThreshold
4. 扩大结果以尝试连接不再接触的部分
5. 侵蚀结果以去除小的不需要的噪音
6. 运行一些算法来检测形状

我目前正在计算以下图像：

结果说明：

• 没有噪音（尽管在其他一些图像上，我仍然到处都有小块噪音）
• 矩形并非全部封闭
• 左侧的一个小矩形/正方形现在可能很难在垂直线旁边找到

我的问题是

• 有一个更好的方法吗？
• 我如何继续检测当前未全部关闭的矩形？ 知道它们总是水平或垂直并且颜色几乎不变应该会有所帮助。

请注意，我也尝试过 Canny，但效果不佳。

我在 Python 3.7.2 中使用 OpenCV 4.1.2。 这是我当前的代码：

import cv2
import numpy
import platform
import sys

print("Python version: {}\nOpenCV version: {}".format(platform.python_version(), cv2.__version__))

# Used variables:
# For gaussian blur
gaussianBlur = 11
# For threshold
meanType = cv2.ADAPTIVE_THRESH_MEAN_C
meanTypeName = "Mean"
blockSize = 17
c = 3
# For close/open
growSize = 6
shrinkSize = 3

# Import image.
imageName = sys.argv[1]
image = cv2.imread(imageName)

# Convert to gray scale 8 bit, blur then take threshold.
grayscaled = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
blurred = cv2.GaussianBlur(grayscaled, (gaussianBlur, gaussianBlur), 0)
thresholded = cv2.adaptiveThreshold(blurred, 255, meanType, cv2.THRESH_BINARY_INV, blockSize, c)

# Close then Open to try to "close" the rectangles and remove noise.
rectClose = cv2.getStructuringElement(cv2.MORPH_RECT, (growSize,growSize))
rectOpen = cv2.getStructuringElement(cv2.MORPH_RECT, (shrinkSize,shrinkSize))
mask = cv2.morphologyEx(thresholded, cv2.MORPH_CLOSE, rectClose)
mask = cv2.morphologyEx(mask, cv2.MORPH_OPEN, rectOpen)

result = mask

# Compute contours and display them on the gray scale image
contours, hierarchy = cv2.findContours(result, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
resultWithContours = grayscaled
cv2.drawContours(resultWithContours, contours, -1, (0,0,255), cv2.FILLED)

# Display threshold image and original with detected contours.
both = numpy.concatenate([result, resultWithContours], axis=0)
cv2.imshow("{} Block Size={} C={}".format(meanTypeName, blockSize, c), both)

# Save both threshold and original with detected contours.
cv2.imwrite("{}_result_{}_blockSize{}_c{}.jpg".format(imageName, meanTypeName, blockSize, c), result)
cv2.imwrite("{}_contours_{}_blockSize{}_c{}.jpg".format(imageName, meanTypeName, blockSize, c), resultWithContours)

cv2.waitKey(0)
cv2.destroyAllWindows()

Answer 1

如果颜色/强度恒定，您可以使用颜色分割技术（比自适应阈值更精确）。 当有几个对象具有明显的对比度/颜色差异（通常具有随机调色板）时，我通常使用自适应阈值处理。

但是在您的情况下，由于颜色是一致的，我们可以对颜色范围进行硬编码。 使用任何颜色选择器工具获取要检测的矩形的颜色，假设颜色为155 （灰度值）。 然后我们可以使用cv2.inRange() ，下阈值为150 ，上阈值为160 。 您将从cv2.inRange()方法中获得一个二值图像，该图像可用于找出轮廓。

您可能需要使用不同的矩形颜色多次执行上述步骤以获取图像中的所有矩形。

Answer 2

我这样做了：

1- 用双边过滤器过滤的图像

2- 应用大津阈值（并反转二值图像）

3- 打开图像（形态）

4- 用打开的图像屏蔽过滤后的图像

5-应用canny边缘检测器

现在使用findContour和drawContour你可以对矩形做任何你喜欢的事情。 这是我的代码（C++）：

Mat img__1, img__2,img__ = imread("E:/s.jpg", 0);
Mat filtered;

bilateralFilter(img__, filtered, 9, 5, 5);

imshow("filtered", filtered);

threshold(filtered, img__1, 0, 255, THRESH_OTSU);
img__1 = 255 - img__1;

imshow("Binarized by Otsu", img__1);

int k = 3;
erode(img__1, img__1, Mat::ones(k, k, CV_8U), Point(-1, -1), 1);
dilate(img__1, img__1, Mat::ones(k, k, CV_8U), Point(-1, -1), 1);

imshow("Dots removed", img__1);

img__1.convertTo(img__1, CV_32F);
filtered.convertTo(filtered, CV_32F);
img__1 = img__1 / 255.0;
multiply(filtered, img__1, img__1,1, CV_32F);
img__1.convertTo(img__1, CV_8U);

imshow("masked denoised image", img__1);

Mat canny_1;
Canny(img__1, canny_1, 30, 100);

imshow("final image", canny_1);
waitKey(0);