如何使用OpenCV从图像中检测旋转的对象？

Question

我一直在训练OpenCV分类器来识别书籍。要求是从图像识别书籍。 我已经使用了1000多个图像，并且OpenCV能够不旋转地检测书籍。 但是，当我尝试旋转检测书籍时，它不能正常工作，所以我想知道它们是否仍然可以使用OpenCV检测图像中旋转对象？

Answer 1

您正在使用哪些功能来检测您的图书？ 您是否正在训练CNN并通过OpenCV进行部署？ 在这种情况下，将旋转图像增强添加到您的训练中将使检测旋转书籍变得容易。

如果您使用的是传统的计算机视觉技术，则可以尝试使用一些旋转不变特征提取器（例如SURF），但是结果将不如使用CNN（后者是目前解决此类问题的最新技术）那样好。

Answer 2

首先，您应该获得姿势估计和图像变形的主要理论思想。

您应该定义书籍的一些要点（某些特殊且强大的功能对每种类型的书籍都有效），然后可以使用这些要点来估计书籍的姿势。 在获得姿势角度后，您应该使图像变形以对齐书籍。 对齐书籍后，您应该执行特征提取，以便通过这种方式提高书籍检测的成功率。

总之， 姿势估计和翘曲（对齐）对于这些旋转问题很重要。

Answer 3

使用OpenCV和关键点匹配算法（例如SURF或ORB）可以完美解决您的问题。 您实际上不需要分类器。 以我的经验，使用未经修改的openCv的这种解决方案可以扩展到识别大约10.000张图像。

我要做的是：脱机：遍历您的书本图像以生成关键点描述符数据库，该描述符将每个描述符与该书的来源ID相匹配。 在线：计算查询图像的关键点，并尝试将它们每个匹配（使用BF，FLANN或LSH）与预先计算的数据库的关键点。 为与大多数查询要点匹配的数据库书籍封面投票。 尝试计算所选数据库书籍封面和查询图像之间的单应性矩阵以验证匹配。

ORB，BRISK，SURF，SIFT特征描述符都可用于此任务，并且旋转不变。 ORB和BRISK更快，性能更低。

参见以下链接获取简单示例： https : //docs.opencv.org/3.3.0/dc/dc3/tutorial_py_matcher.html