關於HIVE_STATS_JDBC_TIMEOUT以及在源代碼級別如何跳過的任何更新

Question

當我嘗試對Hive使用Spark-Sql時，拋出以下錯誤。

Exception in thread "main" java.lang.NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT
        at org.apache.spark.sql.hive.HiveUtils$.formatTimeVarsForHiveClient(HiveUtils.scala:204)
        at org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver$.main(SparkSQLCLIDriver.scala:90)
        at org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver.main(SparkSQLCLIDriver.scala)

根據SO線程hive-stats-jdbc超時在蜂巢中查詢的火花和spark-on-hive-sql-query-error-nosuchfielderror-hive-stats-jdbc-timeout ，當您重新使用特定版本的Spark和Hive，實際上，如果您要使用最新版本的Spark（如2.4.3）和最新的Hive（如3.1.1），則不能跳過它。

我們可以檢查此社區線程以獲取詳細信息， https: //issues.apache.org/jira/browse/SPARK-13​​446，自2019年2月以來沒有更新。

因此，您知道有關此問題的任何更新嗎？ 如果我們想在源代碼級別上自己跳過它，那么有關如何制作它的任何線索？

感謝您的幫助。

Answer 1

僅在Spark 3.0.0（尚未發布）中提供對使用Hive 3.1.1的支持。
吉拉-https: //jira.apache.org/jira/browse/SPARK-24360