[英]ANALYZE TABLE showing NULLs for all statistics in Spark
我试图计算统计信息并获取各个列的统计信息。 而且我看到所有列的所有统计信息都为 NULL。 不知道我在这里可能犯了什么错误。
ordersSchemaDDL = "orderid Int, ordertime Timestamp, custid Int, Status String"
orders_df = spark.read \
.format("csv") \
.option("header",True) \
.schema(ordersSchemaDDL) \
.option("mode","DROPMALFORMED") \
.option("path","orders.csv") \
.load()
spark.sql("create database if not exists saveAsTable")
spark.sql("ANALYZE TABLE saveAsTable.orders_bucketed COMPUTE STATISTICS;")
spark.sql("DESCRIBE EXTENDED saveAsTable.orders_bucketed orderid;").show(truncate=False)
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.