如何使用 python 在 windows GUI 程序中单击按钮？

Question

我正在编写一个 python 脚本，它可以自动运行程序并在程序中执行不同的任务。 我的主要问题是弄清楚如何单击按钮并与要控制的程序的 GUI 进行交互。

我目前正在使用 pyautogui 库并使用 pyautogui.click(X,Y) 来推进提示并单击不同的菜单和菜单项。 这种方法的问题在于，我依靠单独的脚本通过告诉我 cursor 悬停位置的坐标来通知我环境中感兴趣的坐标。 这可能不适用于其他机器，并且似乎只是一种解决方案。

我的问题是如何使用 windows 中的程序（点击）实现自动化，而不必对我需要点击的项目的确切 position 进行硬编码？

例如，如果我需要单击“确定”框接受某些设置，如何让 Windows 抓取程序 window，通读选项并单击我需要的内容，而无需事先了解对话框的 Z4757FE07FD492A8BE0EA6A760D 和 where 683D6 “确定”按钮在哪里？

代码：

import pyautogui as gui

gui.click(x,y)

Answer 1

您可以使用 pyautogui 执行此操作的方法是使用它们的定位方法。 您将需要一张图片（例如 OK 框），然后您可以让 pyautogui 在屏幕上找到它并为您提供它的坐标。 查看有关此的官方文档。