从 Azure DataLake 读取并通过 Databricks 写入 Google BigQuery

Question

我正在尝试从 Azure Datalake 读取数据并写入 Bigquery。 参考https://docs.databricks.com/external-data/bigquery.html

我在 GCP 中创建了 2 个服务帐户并生成了 json 密钥并将其上传到 dbfs 中的 /tmp 位置。当使用 spark 命令执行对 bigquery 的写入时，它抛出一个异常**

com.google.cloud.spark.bigquery.repackaged.com.google.inject.ProvisionException：无法提供，请参阅以下错误：** 并且底层错误是 FileNotFound 由：java.io.FileNotFoundException：dbfs/tmp/gcpaccess. json（没有这样的文件或目录）json 文件存在于 dbfs:/tmp 和 file:/tmp 数据块中的位置

Answer 1

通过查看错误，它似乎无法获取包含密钥和其他信息的 Json 文件。

• 在 dbfs >> filestore 下上传您的 Json 文件。
• 现在，将文件从 dbfs 复制到临时文件位置。

%fs cp "dbfs location" "temporary location"

（如果您使用的是 Azure Databricks，则无需复制临时位置）

• 然后使用凭证路径作为/temp/filename

在 Azarudin shahul 的这段视频中，解释了将大查询连接到数据块的所有过程。