[英]Run multiple puppeteer executions with puppeteer-cluster
如何使用 puppeteer-cluster 運行多個並發執行？
我有 5 個最大並發數，但是執行 await cluster.execute() 一次只運行 1 個。
const cluster = await Cluster.launch({
monitor: false,
concurrency: Cluster.CONCURRENCY_BROWSER,
maxConcurrency: 5,
})
for(let url of urls) {
await cluster.execute(url)
}
我希望所有 5 個同時執行。 替代方法是 await cluster.queue()，但過了一會兒，memory 被吃掉了，因為無法檢查當前隊列長度/大小。
將並發性：Cluster.CONCURRENCY_BROWSER 更改為並發性：Cluster.CONCURRENCY_CONTEXT
如何處理 puppeteer-cluster[CONCURRENCY_BROWSER] 中的多個選項卡？
[英]How to handle multiple tabs in puppeteer-cluster[CONCURRENCY_BROWSER]?
如何在 puppeteer-cluster 中使用 puppeteer.connect()？
[英]How to use puppeteer.connect() in puppeteer-cluster?
如何解決 Heroku 錯誤：找不到模塊“puppeteer-cluster”？
[英]How to resolve Heroku error: Cannot find module 'puppeteer-cluster'?
Express 路由器 API 中帶有 cheerio 的 Puppeteer 集群返回空響應
[英]Puppeteer-cluster with cheerio in express router API returns empty response
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.