选择Hive和Spark的count（*）问题

Question

运行ANALYZE语句后，我得到了正确的计数。 但是我的问题是，每次更新计数时都需要运行它。 从技术上讲，我应该能够更新同一分区的计数。

但是，如果我不执行ANALYZE语句，它将返回相同的计数。

这是我执行的要更新计数的查询。

ANALYZE TABLE bi_events_identification_carrier_sam PARTITION(year, month, day) COMPUTE STATISTICS;

而且执行根本不方便。 有任何想法吗？

Answer 1

您的count（*）查询正在使用统计信息来获取结果。

如果您使用的火花写入数据，那么你可以设置spark.sql.statistics.size.autoUpdate.enabled至true 。 这样可确保Spark在写入完成后自动更新表状态。

如果使用的是Hive，则可以设置set hive.stats.autogather=true; 。

启用这些设置后，写入查询将自动更新统计信息，随后的读取查询将正常运行。