可以使用 Apache Hudi 將一行從 Apache Spark dataframe 插入 Postgres 數據庫嗎？

Question

問題陳述：Apache Spark 中沒有對數據庫的更新插入功能，而是我們必須覆蓋整個表。 但是 Apache Hudi 可用於在不覆蓋整個表的情況下向表中插入一行或多行。

我了解 Apache Hudi 是可以與 S3 一起使用的表/文件格式。 但它也可以與 Postgresdb 或 MySql 或 Oracledb 一起使用嗎？

Answer 1

Hudi 在 HCFS（Hadoop Compatible File System）上管理數據集的存儲層，答案是否定的，Hudi 無法管理 Postgresdb、MySql 和 Oracledb 表，因為它們不是 HCFS，而且永遠不會。

Instead, and where the jdbc DataFrameWriter can only append to existing table or overwrite it, you can use foreach or foreachPartition to call a function which create a jdbc connection (based on the language you want to use), and upsert the data in the table .