將數據框從一個Jupyter Notebook文件導入另一個

Question

我有3個單獨的jupyter筆記本文件處理單獨的數據幀。 我為每個df清理和操作這些筆記本中的數據。 有沒有辦法在單獨的筆記本中引用清理/最終數據？

我擔心的是，如果我在一個筆記本中處理所有3個dfs，然后在（合並/加入）后使用它做更多，那么它將是一英里長。 我也不想重新編寫一堆代碼，只是為了准備好在我的新筆記本中使用的數據。

Answer 1

如果您正在使用pandas數據幀，那么一種方法是使用pandas.DataFrame.to_csv()和pandas.read_csv()來在每個步驟之間保存和加載已清理的數據。

1. Notebook1加載input1並保存result1。
2. Notebook2加載result1並保存result2。
3. Notebook3加載result2並保存result3。

如果這是您的數據：

import pandas as pd
raw_data = {'id': [10, 20, 30], 
            'name': ['foo', 'bar', 'baz']
           }
input = pd.DataFrame(raw_data, columns = ['id', 'name'])

然后在notebook1.ipynb中，像這樣處理它：

# load
df = pd.read_csv('input.csv', index_col=0)
# manipulate frame here
# ...
# save
df.to_csv('result1.csv')

......並為鏈中的每個階段重復該過程。

# load
df = pd.read_csv('result1.csv', index_col=0)
# manipulate frame here
# ...
# save
df.to_csv('result2.csv')

最后，您的筆記本集合將如下所示：

• input.csv
• notebook1.ipynb
• notebook2.ipynb
• notebook3.ipynb
• result1.csv
• result2.csv
• result3.csv

文檔：

• pandas.read_csv
• pandas.DataFrame.to_csv