Python性能問題 - 從特定的Pickle文件中讀取相同Pandas數據幀的多個方法

Question

我們有多個（4）方法從特定/相同的文件中讀取相同的Pandas數據框 - 存儲在本地目錄中的Pickle文件。 代碼創建唯一的pickle文件如下： -

df_for_bokeh = pd.read_sql(sql_command,engine)
df_for_bokeh.to_pickle("./df_holoviewPlots.pkl")

讀取pickle文件的方法的代碼片段如下： -

df_for_bokeh = pd.read_pickle("./df_holoviewPlots.pkl")
df_for_bokeh1 = pd.read_pickle("./df_holoviewPlots.pkl")
df_for_bokeh2 = pd.read_pickle("./df_holoviewPlots.pkl")
df_for_bokeh3 = pd.read_pickle("./df_holoviewPlots.pkl")

如上所述，我對性能的關注是 - 這會更好還是應該將DF腌制成4個單獨的Pickle文件。

我們不能有pickle文件 - unpickled只提供1個DataFrame。 我們需要至少 - 從一個Pickle文件中讀取4個不同的數據幀，而且幾乎同時也是如此。

Answer 1

有沒有理由你不能做到以下幾點：

1. 設置加載鎖定狀態
2. 加載日期一次
3. 深度復制到您需要的任意數量的對象https://docs.python.org/3.7/library/copy.html
4. 釋放加載鎖定狀態

這將在4個不同的獨立數據幀中提供相同的數據。