如何從 Colab Notebook 中提取 Google Cloud Storage 存儲桶中的 tar.gz 文件？

Question

正如問題所述，我試圖弄清楚如何從 Google Colab 筆記本中提取存儲在 GCS 存儲桶中的.tar.gz文件。

我可以通過以下方式連接到我的存儲桶：

auth.authenticate_user()
project_id = 'my-project'
!gcloud config set project {project_id}

但是，當我嘗試運行以下命令時：

!gsutil tar xvzf my-bucket/compressed-files.tar.gz

我收到一個錯誤。 我知道gsutil功能可能有限，而且可能並不打算做我想做的事情，那么有沒有其他方法可以做到呢？

謝謝！

Answer 1

Google Cloud Storage - GCS 本身不支持解壓 tar 存檔。 例如，您必須在本地計算機或 Compute Engine 虛擬機上自己執行此操作

Answer 2

您可以從模板創建 Dataflow 進程以解壓縮 Bucket 中的文件 該模板稱為Bulk decompress Cloud Storage files

您必須指定文件位置、輸出位置、故障日志和 tmp 位置

Answer 3

這對我有用。 我是 colab 和 python 本身的新手，所以我不確定這是解決方案。

!sudo tar -xvf my-bucket/compressed-files.tar.gz