spark函数中approxCountDsitinct和approx_count_distinct的区别

Question

谁能说出pyspark.sql.functions.approxCountDistinct （我知道它已被弃用）和pyspark.sql.functions.approx_count_distinct之间的区别？ 我在一个项目中使用过两个版本，体验过不同的价值观

Answer 1

正如您提到的， pyspark.sql.functions.approxCountDistinct已弃用。 原因很可能只是风格问题。 他们可能希望所有东西都装在蛇壳里。 正如您在源代码中看到的那样pyspark.sql.functions.approxCountDistinct只是调用pyspark.sql.functions.approx_count_distinct ，除了给您一个警告之外，仅此而已。 因此，无论您使用哪个，最终都会运行相同的代码。

此外，仍然根据源代码， approx_count_distinct是基于HyperLogLog++算法的。 我不太熟悉该算法，但它基于重复的集合合并。 因此，结果很可能取决于合并执行者的各种结果的顺序。 由于这对 spark 来说不是确定性的，这可以解释为什么你会看到不同的结果。