数据块 /dbfs 上的“树”命令

Question

我想找出 /dbfs（databricks 文件系统）上的文件大小统计信息

我试图通过像下面这样的笔记本运行“树”

%sh

tree --du -h | grep "G]"

错误说没有安装“树”命令。 /bin/bash: tree: command not found

你能帮助我如何得到结果吗？ 如何在 dbfs utils 中安装“树”或任何等效命令？

我不想做太慢的'ls'。

Answer 1

如果ls对您来说太慢，则使用tree对您没有帮助-当您列出/dbfs/它/dbfs/都需要转到云存储并执行列表操作，因此性能应该没有区别。 原因是 DBFS 只是对特定云存储的抽象。

如果您想获取详细的文件信息，那么最好使用云原生工具，例如aws s3 、 az storage等。