spark javaRDD 輸出到數據庫

Question

請幫助我了解將spark javaRDD輸出保存到數據庫中的最佳方法是什么？

我應該編寫 spark java 代碼來將RDD保存到數據庫中嗎？ 這種方法的缺點是什么？

或者我應該使用sqoop將輸出文件保存到數據庫中？

有沒有其他方法可以做到這一點？

謝謝

Answer 1

使用數據框並將數據保存到sql server

SQLContext sqlcontext=new SQLContext(context);
DataFrame outDataFrame=sqlcontext.createDataFrame(finalOutPutRDD, WebHttpOutPutVO.class);
Properties prop = new java.util.Properties();
prop.setProperty("database", "Web_Session");
prop.setProperty("user", "user");
prop.setProperty("password", "pwd@123");
prop.setProperty("driver", "com.microsoft.sqlserver.jdbc.SQLServerDriver");
outDataFrame.write().mode(org.apache.spark.sql.SaveMode.Append).jdbc("jdbc:sqlserver://<Host>:1433", "test_table", prop);

Answer 2

您可以使用兩種方法將結果寫回數據庫。

1. 使用類似 DBOutputFormat 的東西並配置它

2. 在要保存的 RDD 上使用 foreachPartition 並傳入一個函數，該函數創建與 MySQL 的連接並將結果寫回。