使用 Pyspark 連接到 Amazon Aurora

Question

我是 Pyspark 的新手。我正在嘗試使用 Pyspark 從 Databricks 連接到 Amazon Aurora。任何人都可以分享示例代碼以使用 Pysparks 從 Databricks 連接到 Amazon Aurora。

Answer 1

做了一些分析后，我得到了自己問題的答案。 與連接其他 oracle 數據庫相同。
在這里，我們需要先安裝 post-gres 驅動程序。

SparkSession.builder.appName("Aurora_Database_Connection").getOrCreate()
driver_aurora = "org.postgresql.Driver"
query="your query"
df = spark.read.format("jdbc").option("driver", driver).option("url", url).option("user", username).\
option("password", password).option("query", query).load()