如何保存已经在Google Colab笔记本中加载和处理的数据，而不必每次都重新加载？

Question

我已经从pickle库中阅读了有关“棘手”的信息，但是这是否仅保存您训练过的模型，而不是保存例如从庞大的csv文件加载到变量中的实际数据框？

Answer 1

该示例笔记本中有一些保存和加载数据的不同方法的示例。

实际上，您可以使用pickle保存任何Python对象，包括Pandas数据帧，但是使用Pandas的方法之一pandas.DataFrame.to_csv ， to_feather等进行序列化更为常见。

我可能会推荐使用GCS命令行工具的选项，您可以在笔记本内部通过添加!作为前缀来运行它!

import pandas as pd
# Create a local file to upload.
df = pd.DataFrame([1,2,3])
df.to_csv("/tmp/to_upload.txt")

# Copy the file to our new bucket.
# Full reference: https://cloud.google.com/storage/docs/gsutil/commands/cp
!gsutil cp /tmp/to_upload.txt gs://my-bucket/