數據塊 /dbfs 上的“樹”命令

Question

我想找出 /dbfs（databricks 文件系統）上的文件大小統計信息

我試圖通過像下面這樣的筆記本運行“樹”

%sh

tree --du -h | grep "G]"

錯誤說沒有安裝“樹”命令。 /bin/bash: tree: command not found

你能幫助我如何得到結果嗎？ 如何在 dbfs utils 中安裝“樹”或任何等效命令？

我不想做太慢的'ls'。

Answer 1

如果ls對您來說太慢，則使用tree對您沒有幫助-當您列出/dbfs/它/dbfs/都需要轉到雲存儲並執行列表操作，因此性能應該沒有區別。 原因是 DBFS 只是對特定雲存儲的抽象。

如果您想獲取詳細的文件信息，那么最好使用雲原生工具，例如aws s3 、 az storage等。