如何使用Selenium和OpenCV自動測試Canvas游戲？

Question

我想部分自動化基於Canvas的應用程序的測試。 實時跟蹤畫布，然后按坐標單擊選定的對象。 對象的坐標應通過比較對象和畫布的圖片來接收。 Google沒有提供任何有關類似問題的有用信息。 （在我看來，比較Sikuli中的圖片不是很有用）。 誰能幫我從哪里開始？ 另外，我想使用javascript做到這一點。

Answer 1

您可以將Selenium與OpenCV結合使用，如下所述：

http://hacklabos.org/2019/02/python-html5-canvas-game-web-automation-example-using-selenium-and-opencv/

導入示例：

驅動程序= webdriver.Chrome（“ ./ chromedriver”）driver.get（“ http://www.tripletsandus.com/80s/80s_games/html5_galaga.htm ”）... def get_driver_image（driver）：canvas_base64 = driver.execute_script （“返回參數[0] .toDataURL（'image / png'）。substring（21）;”，a）cap = base64.b64decode（canvas_base64）全局圖像global gray_image圖像= cv2.imdecode（np.frombuffer（cap， np.uint8），1）

之后，您可以使用OpenCV做魔術，例如：

https://www.pyimagesearch.com/2016/02/15/determining-object-color-with-opencv/