Pandas append 非常慢，使用 from_dict 時出現問題

Question

我需要附加熊貓數據幀。 但我發現 append 非常慢。 此鏈接提高 Pandas DataFrames 的行追加性能建議使用 from_dict 而不是追加。 我試圖做同樣的事情，但我遇到了問題，將數據幀轉換為_dict 並從 dict 轉換回數據幀。

我有這個數據框 df

        date   open   high    low  close  volume  average  barCount simb
0  3/31/2020  81.43  81.49  78.56  78.91  183417  80.0940     86742  xdt
1   4/1/2020  77.00  77.38  75.35  76.57   91420  76.4395     49399  xdt
2   4/2/2020  76.12  79.66  76.00  79.44   75298  78.4080     40614  xdt
3   4/3/2020  78.79  79.99  78.18  79.45   64965  79.0490     37140  xdt
4   4/6/2020  81.08  83.12  79.60  82.73   89395  81.3605     46247  xdt
5   4/7/2020  83.45  84.48  81.76  81.93   77722  83.3980     43947  xdt
6   4/8/2020  82.50  85.39  81.05  84.95   66202  83.4955     40256  xdt
7   4/9/2020  85.00  86.50  82.95  86.04   80298  85.1100     46184  xdt
8  4/13/2020  86.32  86.48  83.52  85.85   48114  85.1790     27280  xdt
9  4/14/2020  87.00  89.54  86.50  89.14   75528  88.4410     42810  xdt

我有幾千個這樣的數據幀。 我需要將它們轉換為 dict，然后將它們全部轉換為鏈接上顯示的數據幀。

我的代碼

d = {} 
i=0
d[i] =df.to_dict( 'index')
pd.DataFrame.from_dict(d, 'index')

我無法使用此代碼獲得正確的數據框。 我使用了不同的選項而不是 'index' 選項，但它沒有幫助。 如果有人可以幫助我處理代碼，我將不勝感激

Answer 1

將所有數據幀讀入列表

from glob import glob

dfs = [pd.read_csv(file) for file in glob('*.csv')]

然后使用pd.concat

big_df = pd.concat(dfs)

注意： glob('*.csv')讀取當前工作目錄中的所有csv文件。