[英]send multiple requests simultaneously using CONCURRENCY_REQUEST using Scrapy
[英]Send Multiple GET Requests to Server:80 port Simultaneously
我試圖從比特幣市場RESTful API中獲得不同的JSON。
這是問題所在:我只能將單個GET請求一一發送到API,因此無法同時從所有比特幣市場獲取所有數據。
有沒有一種方法可以使用Python線程(每個線程使用不同的客戶端端口發送GET請求)同時獲取多個數據?
是。
將線程用於並發網絡請求。 如果對響應進行計算,則將受到GIL(全局解釋器鎖定)的束縛,在這種情況下,您可以啟動其他進程來使用多處理庫對數據進行計算。
Requests lib支持線程,Doug Hellemans的“每周Python模塊”博客文章和書籍是閱讀和理解Apis在python中進行線程和多處理的好地方。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.