將生成器從 Pandas 中的 read_sql 轉換為數據幀失敗

Question

我想從我的 oracle 讀取數據，我使用熊貓的read_sql並設置參數chunksize=20000 ，

from sqlalchemy import create_engine
import pandas as pd
engine = create_engine("my oracle")
df = pd.read_sql("select clause",engine,chunksize=20000)

它返回一個迭代器，我想使用df = pd.DataFrame(df)將此生成器轉換為數據幀，但這是錯誤的，如何將迭代器轉換為數據幀？

Answer 1

這個迭代器可以連接起來，然后它返回一個數據幀：

df = pd.concat(df)

您可以查看pandas.concat文件。

如果無法直接使用concat ，請嘗試以下操作：

gens = pd.read_sql("select clause",engine,chunksize=20000)
dflist = []
for gen in gens:
    dflist.append(gen)
df = pd.concat(dflist)