通過代理發送請求。 請求圖書館作品，axios 沒有

[英]sending request through proxy. request library works, axios does not

賞金將在 3 天后到期。 此問題的答案有資格獲得+250聲望賞金。 Rilcon42想讓更多人關注這個問題。 我正在嘗試更新一些舊代碼以擺脫請求 package，因為它不再被維護。 我試圖用 axios 替換代理請求，但它不起作用（我只是超時）。 我在某處缺少 axios 配置嗎？ 使用請求 p ...

請求因 504 失敗：在 docker 中使用 scrapy-splash 時網關超時

[英]Requests fail with 504: Gateway Time-out when using scrapy-splash in docker compose with zyte

賞金將在 4 天后到期。 此問題的答案有資格獲得+250聲望賞金。 Odif Yltsaeb正在從有信譽的來源尋找答案。 我正在嘗試抓取一個使用 JS 部分呈現內容的站點。 我繼續找到了這個項目： https://github.com/scrapinghub/sample-projects/tr ...

在我的爬蟲程序中獲取 JOB_ID - Zyte cloud

[英]Get JOB_ID in my spider program - Zyte cloud

我讓我的蜘蛛在 zyte 雲中運行。 對於每次執行，zyte cloud 為進程分配一個 JOB_ID。 如何在我的蜘蛛程序中獲取這些數據？ ...

為什么 Puppeteer page.click 不等待（可能是無瀏覽器？）

[英]Why isn't Puppeteer page.click waiting (maybe Browserless?)

目標：我有一個頁面，我需要在第一次單擊頁面上的某些內容后從中獲取 html。 問題：返回的 html 不等待該元素單擊。 這是我嘗試過的一種方法。 await page.setViewport({width: 1400, height: 800}); await page.waitForSele ...

如何在 Scrapy/Zyte 中將新的蜘蛛參數添加到我自己的模板中

[英]How can I add a new spider arg to my own template in Scrapy/Zyte

我正在研究一個付費代理蜘蛛模板，並希望能夠在命令行上為 Scrapy 爬蟲傳遞一個新參數。 我怎樣才能做到這一點？ ...

當 python 核心 package 在 scrapinghub 中安裝 csv 時，為什么會出錯

[英]Why error with installing csv when its part of python core package in scrapinghub

我定義了 3 只蜘蛛。 所有相關要求都在 requirements.txt 中提到 此外，scrapinghub.yml 定義為使用 scrapy 2.5 我在嘗試部署時不斷收到此錯誤： 還有 Setup.py 項目 ID 被屏蔽你能幫我理解為什么以下軟件包需要通過抓取集線器安裝，而這些似乎是核心 ...

Scrapinghub scrapy：ModuleNotFoundError：沒有名為“pandas”的模塊

[英]Scrapinghub scrapy: ModuleNotFoundError: No module named 'pandas'

我嘗試通過命令行和 GitHub 部署到 Zyte，但我一直遇到上述錯誤。 我嘗試了不同版本的 Scrapy 版本 1.5 到 2.5，但錯誤仍然存在。 我還嘗試將我的 Scrapinghub.yml 設置為以下腳本，但它似乎無法解決錯誤 ...