在Python中導入多個sas文件，然后row bind

Question

我有超過 20 個 SAS (sas7bdat) 文件，所有文件都具有我想在 Python 中讀取的相同列。我需要一個迭代過程來讀取所有文件並 rbind 到一個大 df 中。 到目前為止，這是我所擁有的，但它會拋出一個錯誤，指出沒有要連接的對象。

import pyreadstat
import glob
import os

path = r'C:\\Users\myfolder'  # or unix / linux / mac path
all_files = glob.glob(os.path.join(path , "/*.sas7bdat"))

li = []

for filename in all_files:
    reader = pyreadstat.read_file_in_chunks(pyreadstat.read_sas7bdat, filename, chunksize= 10000, usecols=cols)
    for df, meta in reader:
        li.append(df)
    frame = pd.concat(li, axis=0)

我發現這個讀入 csv 文件的答案很有幫助： Import multiple CSV files into pandas and concatenate into one DataFrame

Answer 1

所以如果一個人有太大的 sas 數據文件並計划將 append 全部放入一個 df 那么：

#chunksize command avoids the RAM from crashing...
for filename in all_files:
    reader = pyreadstat.read_file_in_chunks(pyreadstat.read_sas7bdat, filename, chunksize= 10000, usecols=cols)
    for df, meta in reader:
        li.append(df)
frame = pd.concat(li, axis=0, ignore_index=True)