使用JDBC連接到EMR上的Spark SQL

Question

我在EMR上運行了火花，我一直在嘗試使用JDBC hive驅動程序從SQLWorkbench連接到spark-SQL，但是徒勞無功。 我在EMR上啟動了thrift服務器，我可以從Tableau / SQL Workbench連接到端口10000（默認）上的Hive。 當我嘗試運行查詢時，它會觸發Tez / Hive作業。 但是，我想使用Spark運行查詢。 在EMR框中，我可以使用beeline連接到SparkSQL並將查詢作為spark作業運行。 資源管理器顯示直線查詢作為spark作業運行，而通過SQLWorkbench運行的查詢正在運行hive / Tez作業。

當我檢查日志時，我發現連接到spark的thrift服務器正在端口10001上運行（默認）。 當我直接啟動時，條目出現連接和我正在運行的sql。 但是，當使用相同的連接參數連接表單SQLWorkbench / Tableau時，它有一個沒有太多細節的異常。 例外，只是說連接已經結束。

我嘗試通過傳遞參數，直線工作在自定義端口上運行，但不通過jdbc連接。

有任何幫助來解決這個問題嗎？

Answer 1

我能夠解決這個問題。 我能夠從Tableau連接到SparkSQL，而我無法連接的原因是我們以root身份啟動了thrift服務。 不知道為什么它會重要，我不得不將日志文件夾的權限更改為當前用戶（而不是root）並啟動thrift服務，這使我能夠毫無問題地連接。