如何將數據從csv加載到Spark中的mysql數據庫？

Question

我想將數據從csv批量加載到mySql。 但是我可以看到將數據從csv插入到hive數據庫的教程/邏輯。 有人可以使用scala幫助我實現上述Spark集成嗎？

Answer 1

這些教程不存在是有原因的。 此任務非常簡單。 這是最小的工作示例：

val dbStr = "jdbc:mysql://[host1][:port1][,[host2][:port2]]...[/[database]]"

spark
  .read
    .format("csv")
    .option("header", "true")
    .load("some/path/to/file.csv")
  .write
    .mode("overwrite")
    .jdbc(dbStr, tablename, props)

Answer 2

使用Spark會話創建讀取CSV的dataframe並使用具有mysql Connection屬性的方法jdbc進行寫入

val url = "jdbc:mysql://[host][:port][/[database]]"
val table = "mytable"
val property = new Properties()

spark
  .read
    .csv("some/path/to/file.csv")
  .write
    .jdbc(url, table, property)