如何使用 python 在 windows GUI 程序中單擊按鈕？

Question

我正在編寫一個 python 腳本，它可以自動運行程序並在程序中執行不同的任務。 我的主要問題是弄清楚如何單擊按鈕並與要控制的程序的 GUI 進行交互。

我目前正在使用 pyautogui 庫並使用 pyautogui.click(X,Y) 來推進提示並單擊不同的菜單和菜單項。 這種方法的問題在於，我依靠單獨的腳本通過告訴我 cursor 懸停位置的坐標來通知我環境中感興趣的坐標。 這可能不適用於其他機器，並且似乎只是一種解決方案。

我的問題是如何使用 windows 中的程序（點擊）實現自動化，而不必對我需要點擊的項目的確切 position 進行硬編碼？

例如，如果我需要單擊“確定”框接受某些設置，如何讓 Windows 抓取程序 window，通讀選項並單擊我需要的內容，而無需事先了解對話框的 Z4757FE07FD492A8BE0EA6A760D 和 where 683D6 “確定”按鈕在哪里？

代碼：

import pyautogui as gui

gui.click(x,y)

Answer 1

您可以使用 pyautogui 執行此操作的方法是使用它們的定位方法。 您將需要一張圖片（例如 OK 框），然后您可以讓 pyautogui 在屏幕上找到它並為您提供它的坐標。 查看有關此的官方文檔。