使用计算机视觉检测屏幕录制中的鼠标移动

Question

我希望在屏幕录制视频中检测并跟踪鼠标 cursor。 我的目标是跟踪视频中的鼠标 cursor 并了解诸如关闭 window、退出应用程序等事件。

使用普通的 CV 算法来跟踪对象是行不通的，因为 cursor 和背景都是动态的，并且两者之间没有非常明显的对比。

有办法解决这个问题吗？

Answer 1

如果图像是未压缩的，则光标的所有像素值都是准确知道的，并且不会随着光标的移动而改变（除非边缘有抗锯齿或透明度？）。

然后应该进行精确的模式搜索。 （将光标滑动到每个可能的位置并检查像素的匹配，直到所有像素都匹配。）

---

如果您安排搜索的方式使得尝试的第一个光标像素具有与背景不同的颜色（最常用的颜色），您将最大化立即拒绝的概率。 如果尝试的前两个像素具有不同的颜色，则更好。 通过这样做，尝试的像素数将接近图像尺寸的两倍，这是难以击败的。

---

Mark Setchell在此行下面添加：

似乎游标确实发生了变化，因此您需要考虑到这一点：

Answer 2

您可以使用HAAR分类器检测指针：它是一种基于机器学习的方法，其中级联函数是从许多正面和负面图像中训练的。 然后它用于检测其他图像中的对象。 OpenCV已经训练了面部，眼睛等内置的HAAR分类器 ，但应该可以为光标训练自己的分类器。

你可以找到关于如何训练自己的分类教程这里 （如何做到这一点是过于粗放这个答案包括）。

Answer 3

对于这个问题，我使用帧差分法结合连通分量分析。

• 灰度你的框架
• threshold 前一帧和新的当前帧之间的差异
• 在此二进制图像中找到连接的组件
• 如果您有一个或两个组件，而且它们很小，则很可能是您的鼠标