堆棧內存溢出
cost 105 ms
如何使用 grerequests 發送數千個 HTTP 請求？

[英]How to send thousands of HTTP Requests using grerequests?

我需要在 Glassdoor 上請求一家公司的所有評論頁面，在某些情況下，可能有數千頁。 我正在嘗試使用grequests來執行此操作，但我發現當我一次發送超過 100 個請求時，我將開始收到403 error 。 我想出了這段代碼來將請求分成 100 個塊： 這行得通，我得到了我需要的東西，但它 ...

How to get JSON data from a post in grequests library (async-requests) python 數據

[英]How to get JSON data from a post in grequests library (async-requests) python

所以我試圖做一個異步請求，但我無法從帖子中獲取 json 數據 注意：代碼中的值不是真實的我試圖從 r 中獲取 json 值，但它沒有用，我期望從 r.json["SOME VALUE"] 中獲取 json 值，但我得到了一個錯誤：“'builtin_function_or_method' obje ...

部分請求延遲了 grequests 中的整個過程

[英]part of the requests delay the whole process in grequests

我有 600 個要請求的 url，當我使用 grequests 時，我發現有時它在 10 秒內完成得如此之快，但有時只是卡在那里（無法達到打印“完成”的聲明）。 這是我的代碼： 是不是因為大多數請求已經在 10 秒內完成（狀態為 200），只有少數請求仍在等待響應？ 我正在使用 Pycharm，在變 ...

為什么我不能使用 grequests 從響應中提取數據？

[英]why do I can't extract data from response using grequests?

當我嘗試通過.text方法獲取數據時，出現錯誤： 即使我嘗試獲取status_code我也有同樣的錯誤，缺少屬性 修復我搜索過的命令pip3 install --upgrade gevent==1.1rc3返回錯誤： fatal error: Python.h: No such file o ...

在 Google Colab 中啟用 gevent 調試

[英]Enabling gevent debugging in Google Colab

我想在 Google Colab 筆記本中使用 grequests 庫，但是在導入它（並使用 gevent.monkey 對其進行修補）后，程序會隨機發出以下警告： 似乎正在使用 gevent 猴子補丁。 請設置環境變量： GEVENT_SUPPORT=真在調試器中啟用 gevent 支持。 環顧 ...

沒有屬性 response.status_code 的 grequests

[英]grequests not having the attributes response.status_code

我可以通過VOLTTRON 代理使用 grequests 獲得有關如何執行 http 請求的提示嗎？ 根據我對 VOLTTRON 的了解，我認為異步方法需要 grequests。 來自我的 VOLTTRON 代理代碼的小片段， 第 140 行 git 要點： 我安裝代理時的回溯與不具有屬性resp ...

如何使用 Python 發送多個 HTTP 請求

[英]How to send multiple HTTP requests using Python

我正在嘗試創建一個腳本，以根據給定的根域名檢查所有可能的頂級域組合。 我所做的是生成所有可能的 TLD 組合的列表，我想做的是發出多個 HTTP 請求，分析其結果並確定根域名是否具有多個活動頂級域。 示例：我的一個客戶有這個活動域： 域.com 域.com.ar 域.ar 我嘗試使用 greques ...

Mapbox API PUT 數據集功能返回“提供要插入的單個功能”

[英]Mapbox API PUT Datasets Feature return "Provide a single Feature to insert"

我正在嘗試使用 Python 通過 Mapbox API 向數據集添加一個功能。 我正在遵循此說明https://docs.mapbox.com/api/maps/#update-a-dataset但不斷收到此錯誤： 代碼如下所示： 我已經嘗試了以下但沒有一個工作： 使用request ...

將異步函數作為參數傳遞

[英]Passing async function as argument

我正在嘗試使用 grequests 異步進行單個 HTTP 調用。 一切都會找到，直到我嘗試調用一個函數（ handle_cars ）來處理響應。 問題是該函數是一個異步函數，我不知道如何在傳遞時等待它。 這甚至可能嗎？ 我需要該函數是異步的，因為我需要從中調用另一個異步函數。 另一種解決方案是 ...

為什么我的 for 循環只檢查最后一項？

[英]Why does my for loop only check the last item?

我已經構建了一個異步程序，它將檢查一個元素是否存在於網站的多個路徑上。 該程序有一個基礎 url，它將獲取要檢查的域的不同路徑，這些路徑位於 json 文件（name.json）中。 如果我要查找的元素存在，則程序應打印出“1”。 但我很快意識到它只選擇檢查 json 列表中的最后一項。 jso ...

使用 grequests 從異步請求中提取文本

[英]Extracting Text From Asynchronus Request Using grequests

我正在嘗試從通過 grequest 庫發出的請求中提取文本部分，但我無法弄清楚我該怎么做。 如果我們使用請求庫，我會這樣做 現在，如果我使用 grequests，我只能獲得響應代碼列表而不是文本。 我嘗試過的result = grequests.map(rs.text) 使用上述代碼Attribut ...

Python Webscraping：grequests 與多線程請求？

[英]Python Webscraping: grequests vs. mult-threaded requests?

我正在嘗試使我在 Python 中編寫的 web-scraper 更快。 目前我啟動了一定數量的抓取線程，創建一個包含我想要抓取的 URL 列表的隊列，並讓他們將條目出列以便他們可以抓取。 grequests 聲明它是異步的，但我不確定除了觸發多個線程（就像我正在做的那樣）和使用 gevent ...

無法在 AWS Lambda (Python 3.X) 中導入 grequest

[英]Unable to import grequest in AWS Lambda (Python 3.X)

當我 zip "grequest" 並嘗試在 AWS Lambda function 中使用它時，我收到此錯誤： 似乎其他人也遇到過這個問題。 無法為 AWS Lambda 導入 grequest不幸的是，上述鏈接中提出的解決方案對我不起作用。 是否有人有適用於后來的 python 的“greq ...

用漂亮的湯，grequests 進行異步 Webscraping

[英]Asynchronous Webscraping with beautiful soup, grequests

我正在嘗試從 url 列表中抓取一些信息，並希望異步執行以節省時間。 當我同步這樣做時，我能夠獲得我想要的信息，並且該代碼的相關部分基本上是這樣的： 這會返回一個參賽者姓名列表，這正是我想要的。 現在，當我嘗試異步執行此操作時，我正在使用打印功能在初步階段對其進行測試，如下所示： 但我沒有得到文本 ...

Python 中的異步 URL 取消縮短

[英]Asynchronous URL un-shortening in Python

我目前正在嘗試在我的程序中實現一項功能，該功能將檢測並取消縮短任何 URL 縮短器，包括 bit.ly 和舊的 goo.gl 鏈接（現在不再存在）。 我找到了幾篇文章，我將討論我目前的實驗、發現並提出“有沒有辦法做到這一點？”的問題。 我首先閱讀了以前找到的任何文章。 我發現了一個關於如何使用 P ...

API + grequests

[英]API + grequests

我有一個腳本，它通過 API 向我們的服務器發送大量數字，幾乎 27k，然后我得到一些信息。 但是，我想一次發送幾個請求，是否可以通過 grequests 發送？ 因為我看過一些例子，它有點 grequests 用於向多個 URL 發送多個請求，但在我的情況下，我只有一個 URL。 我想一次發送幾個 ...


排序:
質量:
 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM