使用 Java 將 spark RDD 保存到本地文件系統

Question

我有一個使用 Spark 生成的 RDD。 現在，如果我將此 RDD 寫入 csv 文件，則會提供一些方法，例如“saveAsTextFile()”，它將 csv 文件輸出到 HDFS。

我想將文件寫入我的本地文件系統，以便我的 SSIS 進程可以從系統中選取文件並將它們加載到數據庫中。

我目前無法使用 sqoop。

除了編寫 shell 腳本之外，在 Java 中是否有可能做到這一點。

需要任何澄清，請告知。

Answer 1

saveAsTextFile能夠接收本地文件系統路徑（例如file:///tmp/magic/... ）。 但是，如果您在分布式集群上運行，您很可能希望collect()數據返回集群，然后使用標准文件操作將其保存。