如何將文件夾中的多個文件從 s3 加載到 Python Notebooks

Question

我在 s3 上的一個文件夾中有一系列 s3 文件，它們的格式如下所示：

aac0202-2121-41.csv
aac0202-2121-42.csv
aac0202-2121-43.csv
aac0202-2121-44.csv
...aac0202-2121-70.csv

它們都有相同的列，我正在嘗試 read_csv 並將它們聚合在一起。

該文件應該是一個包含 41 到 70 的大文件。

我當前的代碼是這樣的，有沒有更有效的方法或更好的方法來做到這一點？

for number in arange(41, 71, 1):
    df = df.concat([df, pd.read_csv('s3://ap/data/tm/aac0202-2121-%s.csv'%number)])
df

我希望每個文件在連接期間只出現一次。 所以它只是組合 41、42、43..直到 70。

Answer 1

嘗試：

df_list = []

for number in arange(41, 71, 1):
    df = pd.read_csv('s3://ap/data/tm/aac0202-2121-%s.csv'%number)
    df_list.append(df)

df_final = pd.concat(df_list)