無法通過AWS EMR實例通過spark訪問JDBC驅動程序

Question

我在運行spark-shell之后安裝了postgresql驅動程序包，之后我將ssh引入了EMR spark-shell --packages org.postgresql:postgresql:9.4-1206-jdbc42 。 然后我導入org.postgresql。 我想創建一個Spark Dataframe對象，所以我嘗試從s3實例訪問一個表。

sqlContext.load("jdbc", Map("url" -> "jdbc:postgresql://pathto.table.region.rds.amazonaws.com:5432/table?user=username&password=password","dbtable" -> "table"))

這給了我一個java.sql.SQLException: No suitable driver錯誤。

我已經看着這類似的問題的問題。 但我希望能夠通過spark-shell運行驅動程序。

Answer 1

如果我沒弄錯的話（抱歉，我現在沒有計算機來測試它）你需要在選項圖中明確設置驅動程序類。

sqlContext.load("jdbc", 
         Map("driver" -> "org.postgresql.Driver", 
             "url" -> "jdbc:postgresql://pathto.table.region.rds.amazonaws.com:5432/table?user=username&password=password",
             "dbtable" -> "table"))

PS：我在手機上寫這個答案，請原諒最終的錯別字。 但我認為你明白了。