[英]hive table does not exist in spark job
我在EMR中使用Hive Metastore。
我可以通過HiveSQL或SparkSQL手動查詢表。
但是當我在Spark Job中使用同一張表時,它說未找到表或視圖
File "/usr/lib/spark/python/lib/pyspark.zip/pyspark/sql/utils.py", line 69, in deco pyspark.sql.utils.AnalysisException:
u"Table or view not found: `logan_test`.`salary_csv`; line 1 pos 21;
'Aggregate [unresolvedalias(count(1), None)]
+- 'UnresolvedRelation `logan_test`.`salary_csv`
這是我的完整代碼
from pyspark import SparkContext, HiveContext
from pyspark import SQLContext
from pyspark.sql import SparkSession
sc = SparkContext(appName = "test")
sqlContext = SQLContext(sparkContext=sc)
sqlContext.sql("select count(*) from logan_test.salary_csv").show()
print("done..")
我提交了以下工作以使用配置單元目錄表。
spark-submit test.py --files /usr/lib/hive/conf/hive-site.xml
您導入了HiveContext
但是初始化了不支持Hive查詢的標准SQLContext
。 它應該是:
sqlContext = HiveContext(sparkContext=sc)
似乎您使用的是Spark 2,因此在SQLContext
SparkSession.sql()
之后, enableHiveSupport()
SQLContext
和HiveContext
替換為enableHiveSupport()
而不是.sql()
,您可以使用SparkSession.table()
獲取整個表的DataFrame,然后在其后加上count()
,然后再執行所需的任何其他查詢。
from pyspark.sql import SparkSession
spark = SparkSession.builder.enableHiveSupport().appName("Hive Example").getOrCreate()
salary_csv = spark.table("logan_test.salary_csv")
print(salary_csv.count())
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.