Databricks cli - 用於復制文件的 dbfs 命令

Question

我正在致力於Purview ADB Lineage Solution Accelerator的部署。 在“ 在您的 Databricks 集群上安裝 OpenLineage”部分的第 3 步中，作者要求在powershell中運行以下命令以使用Databricks CLI將init腳本和jar上傳到dbfs 。

dbfs mkdirs dbfs:/databricks/openlineage
dbfs cp --overwrite ./openlineage-spark-*.jar               dbfs:/databricks/openlineage/
dbfs cp --overwrite ./open-lineage-init-script.sh           dbfs:/databricks/openlineage/open-lineage-init-script.sh

問題：我是否正確理解上面的代碼如下？ 如果不是這樣，在運行代碼之前，我想知道代碼到底在做什么。

1. 第一行在openlineage的根目錄下創建一個文件夾dbfs
2. 假定您正在從.jar和open-lineage-init-script.sh所在的位置運行powershell命令
3. 代碼的第二行和第三行是將jar和.sh文件從本地目錄復制到Databricks的dbfs中的dbfs:/databricks/openlineage/ dbfs

Answer 1

1. dbfs mkdirs相當於 UNIX mkdir -p ，即。 在 DBFS root 下，它將創建一個名為databricks的文件夾，並在其中創建另一個名為openlineage的文件夾 - 如果這些目錄已經存在，則不會抱怨。

2. 和 3. 是的。 不以dbfs:/為前綴的文件/目錄表示您的本地文件系統。 請注意，您可以從 DBFS 復制到本地，反之亦然，或者在兩個 DBFS 位置之間復制。 不僅僅是在本地文件系統之間。