在Python中导入多个sas文件，然后row bind

Question

我有超过 20 个 SAS (sas7bdat) 文件，所有文件都具有我想在 Python 中读取的相同列。我需要一个迭代过程来读取所有文件并 rbind 到一个大 df 中。 到目前为止，这是我所拥有的，但它会抛出一个错误，指出没有要连接的对象。

import pyreadstat
import glob
import os

path = r'C:\\Users\myfolder'  # or unix / linux / mac path
all_files = glob.glob(os.path.join(path , "/*.sas7bdat"))

li = []

for filename in all_files:
    reader = pyreadstat.read_file_in_chunks(pyreadstat.read_sas7bdat, filename, chunksize= 10000, usecols=cols)
    for df, meta in reader:
        li.append(df)
    frame = pd.concat(li, axis=0)

我发现这个读入 csv 文件的答案很有帮助： Import multiple CSV files into pandas and concatenate into one DataFrame

Answer 1

所以如果一个人有太大的 sas 数据文件并计划将 append 全部放入一个 df 那么：

#chunksize command avoids the RAM from crashing...
for filename in all_files:
    reader = pyreadstat.read_file_in_chunks(pyreadstat.read_sas7bdat, filename, chunksize= 10000, usecols=cols)
    for df, meta in reader:
        li.append(df)
frame = pd.concat(li, axis=0, ignore_index=True)