[英]How to pull hourly data from a URL in Python?
我正在查詢 JSON 格式的數據,但我希望它在每次添加更新數據時繼續拉取。 我還將這些數據插入到 Postgresql 數據庫中。 但是由於url是按小時添加數據的,與其等數據庫填滿,不如讓它在第一時間循環快速拉取最近2-3個月的數據,然后每小時繼續拍攝。 我怎樣才能做到這一點?
parameters = {
"StationId": "377e1216-bcc7-42c0-aad8-4d5b3d602b78",
"StartDate": "12.01.2022%2000:00:00",
"EndDate": "12.01.2022%2001:00:00 }
payload = {}
headers= {}
url="https://api.ibb.gov.tr/havakalitesi/OpenDataPortalHandler/GetAQIByStationId"
req = requests.get(url, params = parameters)
if req.status_code == 200:
decodeUrl = unquote(istek.url)
response = requests.get(decodeUrl,headers=headers, data = payload)
result = json.loads(response.text)
print("Success")
else:
print("Wrong.")
您可以從使參數變量開始,這樣您就可以在每次調用中使用它們。 像這樣的東西:
parameters = {
"StationId": "377e1216-bcc7-42c0-aad8-4d5b3d602b78",
"StartDate": start_date,
"EndDate": end_date }
然后將觸發調用的功能拆分為 2 個。1 個“腳本”(由於缺乏更好的術語)被觸發一次以填充數據庫。 獲取當前日期並減去 3 個月,然后將其放入參數中。
您的第二個腳本將執行相同的操作,但將前一個小時輸入到參數中。 然后(取決於您的操作系統)運行一個 cron 作業或計划任務,您可以在其中觸發第二個腳本。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.