簡體 English 中英

Spark應用程序繼續運行並且似乎正在掛起 - org.apache.spark.sql.hive.thriftserver.HiveThriftServer2

[英]Spark Application keeps on RUNNING and seems HANGING - org.apache.spark.sql.hive.thriftserver.HiveThriftServer2

原文 2017-04-20 23:48:08 6 1 hadoop/ apache-spark/ yarn/ ambari

我在Hadoop集群中使用HDFS 2.7.3和Spark2 2.0.0。 當我啟動Spark2 Thrift Server時，它成功啟動但是從Hive用戶自動開始運行一個作業，它似乎永遠掛起。 如果我手動終止該作業，它將再次使用新的applicationId啟動新作業。

但是，如果我停止Spark2 Thrift服務器它會殺死這個工作。 你能幫我理解這個問題嗎？

提前致謝。

1 個解決方案

我遇到了和你一樣的問題，spark 2.0並不是thriftserver模塊的穩定版，它最好升級到spark 2.1

Spark Thriftserver無法連接到正確的Hive數據庫

[英]Spark Thriftserver not connecting to correct Hive database

ClassNotFoundException：org.apache.spark.SparkConf 與 hive 上的火花

[英]ClassNotFoundException: org.apache.spark.SparkConf with spark on hive

Apache Spark 上的 Apache Hive

[英]Apache Hive on Apache Spark

將 Spark 3.1.1 作為 hive 的 3.1.2 引擎運行時出錯 ( java.lang.NoClassDefFoundError: org/apache/spark/unsafe/array/ByteArrayMethods )

[英]Error running Spark 3.1.1 as hive's 3.1.2 engine ( java.lang.NoClassDefFoundError: org/apache/spark/unsafe/array/ByteArrayMethods )

實例化'org.apache.spark.sql.hive.HiveSessionState'時出錯：在Linux服務器上

[英]Error instantiating 'org.apache.spark.sql.hive.HiveSessionState': on Linux server

在Spark上執行蜂巢查詢-java.lang.NoClassDefFoundError org / apache / hive / spark / client / Job

[英]Execute hive query on spark - java.lang.NoClassDefFoundError org/apache/hive/spark/client/Job

SPARK：無法實例化org.apache.hadoop.hive.metastore.HiveMetaStoreClient

[英]SPARK : Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient

使用Apache Spark安裝Hive

[英]Installing Hive with Apache Spark

“蜂巢上的火花”-原因：java.lang.ClassNotFoundException：org.apache.hive.spark.counter.SparkCounters

[英]'spark on hive' - Caused by: java.lang.ClassNotFoundException: org.apache.hive.spark.counter.SparkCounters

Spark SQL會完全取代Apache Impala還是Apache Hive？

[英]Will Spark SQL completely replace Apache Impala or Apache Hive?

暫無

暫無

聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

相關問題 Spark Thriftserver無法連接到正確的Hive數據庫 ClassNotFoundException：org.apache.spark.SparkConf 與 hive 上的火花 Apache Spark 上的 Apache Hive 將 Spark 3.1.1 作為 hive 的 3.1.2 引擎運行時出錯 ( java.lang.NoClassDefFoundError: org/apache/spark/unsafe/array/ByteArrayMethods ) 實例化'org.apache.spark.sql.hive.HiveSessionState'時出錯：在Linux服務器上在Spark上執行蜂巢查詢-java.lang.NoClassDefFoundError org / apache / hive / spark / client / Job SPARK：無法實例化org.apache.hadoop.hive.metastore.HiveMetaStoreClient 使用Apache Spark安裝Hive “蜂巢上的火花”-原因：java.lang.ClassNotFoundException：org.apache.hive.spark.counter.SparkCounters Spark SQL會完全取代Apache Impala還是Apache Hive？

相關標簽

粵ICP備18138465號 © 2020-2024 STACKOOM.COM