python處理來自Wikipedia API的大型json響應

Question

我正在訪問Wikipedia API，以從頁面中獲取文本。 我正在使用帶有頁面名稱的parse api調用。 例如，單擊此處，然后單擊“生成請求”按鈕以獲取響應。 它為您提供整個站點的html作為json對象中的元素，並允許您通過為Wiki頁面中的每個部分提供字節偏移量來解析所需的項目。 有沒有更好的方法來處理此問題，然后將整個響應加載到內存中？ 現在，我能想到的就是使用json.loads（）創建一個dict，然后將字符串除以它指定的每個字節偏移量。

Answer 1

您可以使用iijson （迭代JSON解析器）。 該軟件包允許您遍歷節點，例如：

import ijson

f = urlopen('http://.../')
objects = ijson.items(f, 'earth.europe.item')
cities = (o for o in objects if o['type'] == 'city')
for city in cities:
   do_something_with(city)