pymongo光标到Pandas数据框

Question

我需要将mongodb游标转换为pandas数据框。 我想避免直接使用data = list(collection.find())来使用data = list(collection.find())但是它会耗尽内存，占用大量内存。 建议我为此使用列表的有效方法或替代解决方案。

我使用了一个列表来转换熊猫数据框。 它会耗尽内存并停止执行。

collection = db.get_collection('xxxyyyzzz')
data = collection.find()
for i in data:
   lst = pd.DataFrame(list.append(data))

我想将光标转换为数据框。

Answer 1

您可以使用yield来遍历光标。 在这里阅读更多 。 基本上， yield将一次处理一个项目，而不是将所有内容都保存在内存中。

def get_cursor():
    collection = db.get_collection('xxxyyyzzz')
    return collection.find()

def get_data_frames(cursor):
    for a_document in cursor:
        yield pd.DataFrame(list.append(data))

cursor = get_cursor()

for df in get_data_frames(cursor):
    // Do whatever