如何從 Java 連接到 csv 文件並將其寫入 Databricks Apache Spark 的遠程實例？

Question

我正在嘗試連接到 Databricks 的遠程實例並將 csv 文件寫入 DBFS 的特定文件夾。 我可以在這里和那里找到零碎的東西，但我不知道如何完成這項工作。 如何從本地計算機上運行的 Java 程序將文件添加到遠程 Databricks 實例上的 DBFS？

我目前正在使用從這里創建的社區實例： https://databricks.com/try-databricks

這是我的實例的 url（我猜“o=7823909094774610”正在識別我的實例）。
https://community.cloud.databricks.com/?o=7823909094774610

以下是我正在尋找解決此問題的一些資源，但我仍然無法起步：

• Databricks Connect 文檔：這討論了連接，但不是專門來自 Java。 它給出了“將 Eclipse”連接到數據塊的示例，這似乎是如何為此獲得 jar 依賴項（附帶問題，是否有 mvn 版本？）。 https://docs.databricks.com/dev-tools/databricks-connect.html#run-examples-from-your-ide

• Some Java sample code: Doesn't seem to have an example of connecting to a remote Databricks instance https://www.programcreek.com/java-api-examples/index.php?api=org.apache.spark.sql.火花會話

• Databricks File System (DBFS) Documentation: Gives a good overview of file functions but doesn't seem to talk specifically about how to connect from a remote Java application and write the file to the Databricks instance from the Java application https://docs. databricks.com/data/databricks-file-system.html

• FileStore 文檔：對文件存儲進行了很好的概述，但似乎並沒有具體討論如何從遠程 Java 應用程序https://docs.databricks.com/data/filestore.ZFC35FDC70D5FC69D53EZ8C30D5FC69D2698

Answer 1

您可以查看DBFS REST API ，並考慮在您的 Java 應用程序中使用它。

如果不需要 Java 解決方案，那么您也可以查看databricks-cli 。 使用 pip ( pip install databricks-cli ) 安裝后，您只需：

1. 通過運行配置 CLI： databricks configure
   • 主機： https://community.cloud.databricks.com/?o=7823909094774610
   • 用戶名：<您的用戶名>
   • 密碼：<您的密碼>
2. 通過運行將文件復制到 DBFS： databricks fs cp <source> dbfs:/<target>