在使用請求和 beautifulsoup 抓取頁面時接受 cookies

Question

我做了一個腳本，在許多不同的頁面上跟蹤產品的價格。 問題是某些網站使用 cookies，您必須單擊接受 cookies 才能看到價格。

這可能無濟於事，但這是瑞典語的網站，所以你們中的許多人都不會理解。

如何在 web 刮擦時接受 cookies？

Answer 1

沒有 cookies 參與請求。 我覺得你不應該在執行 get 或 post 請求時遇到任何問題。

編輯：試試這段代碼：

r = requests.get('https://www.google.com/')

with open('test.html', 'w') as f:
    f.write(r.text)
    f.close()

在 web 瀏覽器中運行test.html文件並嘗試查看差異。 test.html是您的代碼所看到的，這與普通人在具有完整 GUI 的 web 瀏覽器中看到的不同。

Answer 2

當你抓取一個網站時，你不必接受那些 cookies。 但是，如果您想接受，則只需單擊網站上的“接受按鈕”即可。 您可以使用以下方法執行此操作：

• 點擊 Selenium

右鍵單擊網站獲取 X-Path 並檢查 cookie 按鈕。