Hive on Spark CDH5.7執行錯誤

Question

我最近將我的集群更新到CDH 5.7，我正在嘗試在Spark上運行Hive查詢處理。

我已經將Hive客戶端配置為使用Cloudera Manager的Spark服務上的Spark執行引擎和Hive Dependency。

通過HUE，我只是運行一個簡單的選擇查詢，但似乎始終得到此錯誤：處理語句時出錯：FAILED：執行錯誤，從org.apache.hadoop.hive.ql.exec.spark返回代碼3。 SparkTask

以下是相同的日志：

ERROR operation.Operation: Error running hive query: 
org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask
    at org.apache.hive.service.cli.operation.Operation.toSQLException(Operation.java:374)
    at org.apache.hive.service.cli.operation.SQLOperation.runQuery(SQLOperation.java:180)
    at org.apache.hive.service.cli.operation.SQLOperation.access$100(SQLOperation.java:72)
    at org.apache.hive.service.cli.operation.SQLOperation$2$1.run(SQLOperation.java:232)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1693)
    at org.apache.hive.service.cli.operation.SQLOperation$2.run(SQLOperation.java:245)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471)
    at java.util.concurrent.FutureTask.run(FutureTask.java:262)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)

任何幫助解決這個問題都會很棒！

Answer 1

這個問題是由於開放的JIRA： https ： //issues.apache.org/jira/browse/HIVE-11519 。 你應該使用另一個序列化工具..

Answer 2

Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask

不是真正的錯誤消息，你最好使用hive cli打開DEBUG信息，比如

bin/hive --hiveconf hive.root.logger=DEBUG,console

你會得到更詳細的日志，例如，這些是我之前得到的：

16/03/17 13:55:43 [fxxxxxxxxxxxxxxxx4 main]: INFO exec.SerializationUtilities: Serializing MapWork using kryo
java.lang.NoSuchMethodError: com.fasterxml.jackson.module.scala.deser.BigDecimalDeserializer$.handledType()Ljava/lang/Class;

這是由一些依賴性沖突引起的，詳見https://issues.apache.org/jira/browse/HIVE-13301 。