puppeteer-cluster，不同的數據到相同的 url

[英]puppeteer-cluster, different data to the same url

我在下面舉了一個例子，我想同時從 object 的數組添加不同的搜索輸入（firstWord + scndWord）到兩個谷歌頁面，所以打開頁面動態取決於數組長度第一頁打開谷歌然后寫紅花第二頁打開谷歌但寫“游戲PC 我很困惑該怎么做，我將感謝您的幫助 ...

Express 路由器 API 中帶有 cheerio 的 Puppeteer 集群返回空響應

[英]Puppeteer-cluster with cheerio in express router API returns empty response

我正在編寫一個帶有 express、puppeteer-cluster 和 cheerio 的 API，它返回所有包含一個或多個可以添加為查詢參數的單詞的錨元素。 我想使用 puppeteer 來獲取也由 javascript 生成的元素。 但由於某種原因它不起作用，我得到一個空數組作為瀏覽器上打印 ...

如何在 Puppeteer-Cluster 中傳遞多個數據

[英]How To Passing Multiple Data in Puppeteer-Cluster

只有一個問題。 我怎樣才能做到這一點？ 我有這些數據： url: http://example.com 和 2 個字符串數據，例如：firstName 和 lastName url 在每個瀏覽器中仍然相同，但是，每個瀏覽器都會更改 firstName 和 lastName（firstName1 ...

無法在 puppeteer 瀏覽器的不同選項卡中並行下載多個文件

[英]Unable to download multiple files parallelly in different tabs of puppeteer browser

我想通過循環打開多個選項卡並分別從每個選項卡下載文件來下載多個文件，但它只是在不同的下載路徑中下載最后一個選項卡的文件。 這是一個示例代碼，它無法通過木偶操縱者在單獨的下載路徑中下載多個文件。 有人可以幫助解決這個問題嗎？ ...

如何在不同文件中使用相同的 puppeteer-cluster 任務？

[英]How to use the same puppeteer-cluster task across different files?

通過閱讀其 GitHub 頁面中的文檔，看到了大量 puppeteer-cluster 示例以及如何實例化它/創建任務，但我仍然無法弄清楚如何在我的應用程序的不同文件中導入相同的 puppeteer-cluster 實例，利用它我可以在我的應用程序的其他文件中導入一個獨特的 puppeter-cl ...

在 ubuntu 機器上運行時出現 Puppeteer 錯誤

[英]Puppeteer error while running in ubuntu machine

當我在 Ubuntu 上運行 puppeteer 時，我收到此錯誤： 這是我的傀儡選項： 另外，這是我使用的插件： 我嘗試在運行代碼之前殺死谷歌實例，但仍然沒有工作另外，我想提一下，它在使用“puppeteer-cluster”時有效有人對此有任何想法或解決方案嗎？ 非常感謝您的幫助！ ...

在關閉之前讓 puppeteer-cluster 在頁面事件上等待的問題

[英]Problem getting puppeteer-cluster waiting on page event before closing

我目前正在設置一個 CI 環境來自動化我們團隊在測試工具中運行的 e2e 測試。 我在 Gitlab 上設置它，目前正在使用 Puppeteer。 我有一個從我們的測試工具觸發的事件，該事件指定測試何時完成。 現在我正在嘗試“匯集”執行，這樣我就不會用完所有資源或用完偵聽器。 我決定為這項任務嘗試“ ...

通過 puppeteerOptions 在 puppeteer-cluster 中傳遞參數的正確方法

[英]Correct way to pass args in puppeteer-cluster via puppeteerOptions

我正在嘗試在我的代碼中使用 args 來使用我擁有的代理服務。 如果我完全刪除 args，一切運行正常，但如果我將它們放在其中，我會收到一條錯誤消息：錯誤：無法重新啟動 chrome。 我檢查了多個示例並將其復制到我的代碼中，但似乎失敗了。 關於如何正確實現這一點的任何想法？ 代碼： ...

使用 puppeteer-cluster 運行多個 puppeteer 執行

[英]Run multiple puppeteer executions with puppeteer-cluster

如何使用 puppeteer-cluster 運行多個並發執行？ 我有 5 個最大並發數，但是執行 await cluster.execute() 一次只運行 1 個。 我希望所有 5 個同時執行。 替代方法是 await cluster.queue()，但過了一會兒，memory 被吃掉了，因為無 ...

Puppeteer cluster.close() 在調用 cluster.queue() 后“崩潰”

[英]Puppeteer cluster.close() “crashes” after calling cluster.queue()

長話短說，我為 web 抓取制作了一個應用程序，為了能夠一次同時運行超過 1 個進程（打開超過 1 個 Chromium），我使用了 puppeteer-cluster。 我讓它一次運行多個進程，但集群之后不會停止，它會永久運行。 一路走來，遇到如下錯誤（一） 如果我這樣使用它（2） Anywh ...

如何使用 puppeteer 將 canvas 保存為圖像？

[英]How to save a canvas as an image using puppeteer?

我正在嘗試使用 canvas 加載頁面，然后將其另存為圖像。 例如， 這個頁面。 在 Chrome 上，我可以右鍵單擊頁面右上角帶有圓圈的 canvas，然后單擊保存圖像。 我想做同樣的事情，但通過 NodeJS 和 Puppeteer。 這可能嗎？ 到目前為止，我正在嘗試通過 select 它 ...

使用 puppeteer 集群的無限循環（故意）

[英]Infinite loop (on purpose) using puppeteer cluster

我對 puppeteer-cluster 很陌生。 我的目標是無限地抓取 100 個站點的列表，所以一旦我到達第 100 個鏈接，腳本就會重新開始（理想情況下重用同一個集群實例）。 有沒有更好的方法或正確的方法來做到這一點？ 我在想故意有一個無限循環（和旋轉元素）可能會更容易。 任何意見，將不勝感 ...

如何將 puppeteer 插件與 puppeteer 集群結合起來？

[英]How do I combine puppeteer plugins with puppeteer clusters?

我有一個需要從使用 React 的網站上抓取的 url 列表，因此我正在使用 Puppeteer。 我不想被反機器人服務器阻止，因此我添加了puppeteer-extra-plugin-stealth我想阻止廣告在頁面上加載，所以我通過使用puppeteer-extra-plugin-來阻止廣告a ...

如何在 Pupeteer 中定位多個相同的“input[type=”file“]”？

[英]How to target multiple identical “input[type=”file“]” in Pupeteer?

我在 pupeteer 中有一個頁面，我正在嘗試啟動文件上傳，它必須上傳按鈕。 問題是啟動文件上傳的兩個按鈕具有相同的類型和選擇器。 此工作代碼允許我完美地將文件上傳到第一個文件輸入。 現在我的問題是 - 有沒有辦法讓我以編程方式在 pupeteer 頁面上定位類型文件的 SECOND 輸入？ 因 ...

正確循環多個鏈接

[英]Looping through multiple links properly

我對木偶師很陌生。 我昨天開始，我正在嘗試制作一個程序，它可以遍歷 url，它一個接一個地遞增存儲玩家 ID，並使用 neDB 保存玩家統計信息。 有數千個鏈接需要翻閱，我發現如果我使用 for 循環，我的計算機基本上會崩潰，因為 1,000 個 Chromium 試圖同時打開所有這些。 有沒有更好 ...

使用 Puppeteer 的 page.$$eval() 錯誤

[英]Errors with page.$$eval() using Puppeteer

我正在嘗試使用page.$$eval()從<ul>獲取數據，將值存儲在兩個 arrays 中，然后遍歷 arrays 以將數據放入鍵/值對中。 我正在努力將數據輸入 arrays。 HTML 看起來像這樣： 我的代碼： 錯誤： 或者： 我猜這與瀏覽器（傳遞給page.$$eval()的 ...

如何將數據從多頁存儲到 json？

[英]How to store data from multi page to json?

謝謝你的關注，所以我寫了一個小項目來抓取新聞網站並存儲它們的主要文本。 我嘗試了很多解決方案來在我的項目中添加 json 而沒有 consol.log 但總是在抓取它只顯示一個主要文本之后。 所以我向您展示我的代碼，以便您可以幫助我如何使用所有三個新聞獲取 json。 ...

從偵聽器異步獲取結果

[英]Get result from listener async

我使用 puppeteer-cluster + node js。 我是新手。 我有一些麻煩。 我需要從站點獲得 XHR 響應。我正在收聽頁面，但我無法將結果值寫入變量。 我需要在代碼的另一部分使用該值。 如何等待函數在偵聽器中執行並將結果寫入變量？ 但是 dataCreation [id] 是不 ...

Puppeteer-cluster 關閉瀏覽器本身

[英]Puppeteer-cluster close browsers itself

我使用 puppeteer-cluster + node js。 我有一些腳本。 我是新手 腳本運行到一半，然后結束，不再進一步執行。 我一直在尋找一個星期的解決方案，我不明白這是怎么回事。 幫我請在此處輸入代碼 const { Cluster } = require('puppete ...

導航失敗，因為瀏覽器已斷開連接

[英]Navigation failed because browser has disconnected

我遇到了以下問題。 這是錯誤消息： 這是我正在閱讀的文檔： 我的每個任務大約 34 秒，所以大部分時間它會失敗（30 秒后超時）但偶爾會成功。 其他 GitHub/Stack Overflow 答案也提到代碼中缺少await也可能導致相同的錯誤消息。 ...