從Python中的Webhose API檢索JSON數據時出錯

Question

我是Python的初學者，正在嘗試使用webhose.io API從網絡收集數據。 問題在於，此爬網程序一次從一個JSON檢索100個對象，即要檢索500個數據，必須發出5個請求。 使用API​​時，無法一次收集所有數據。 我能夠收集前100個結果，但是轉到下一個請求時，發生錯誤，重復了第一篇文章。 遵循代碼：

import webhoseio
webhoseio.config(token="Xxxxx")
query_params = {
    "q": "trump:english",
    "ts": "1498538579353",
    "sort": "crawled"
}
output = webhoseio.query("filterWebContent", query_params)


x = 0

for var in output['posts']:
    print output['posts'][x]['text']
    print output['posts'][x]['published']
    if output['posts'] is None:
        output = webhoseio.get_next()
        x = 0

謝謝。

Answer 1

使用以下內容：

while output['posts']:
    for var in output['posts']:
        print output['posts'][0]['text']
        print output['posts'][0]['published']

    output = webhoseio.get_next()