在 DataBricks 的一個特定筆記本中連接 Blob 容器

Question

我在 DataBricks 的一個集群下工作，該集群已經安裝了 blob 容器。 我想為整個集群保留一個容器，但為一個特定的筆記本（或 repo，這將是很棒的）安裝另一個已經創建的集群以從那里加載數據。 我怎樣才能做到？

例子：

回購 1 - blob 1：

• 筆記本 blob 1 Repo 2 - blob 1（或 blob，如果可能的話）
• 筆記本（筆記本）blob2

Answer 1

您可以使用以下過程將數據加載到存儲帳戶中。

我在我的環境中用兩個復制品復制相同的東西

復制品 1：

容器名稱： input掛載點： /mnt/hffj

復制品 2：

容器名稱： output掛載點： /mnt/output

根據上述情況，您可以這樣做：

首先讀取數據框

df1 = spark.read.format("csv").option("header", "true").load("/mnt/hffj")

然后，將其寫入 repro 2 掛載路徑/mnt/output 。 數據存儲在該安裝位置

df1.coalesce(1).write.format('csv').mode("overwrite").save("/mnt/output")