如何使用 approx_count_distinct 计算 Spark DataFrame 中两列的不同组合？

Question

我有一个 Spark DataFrame ( sdf )，其中每一行都显示一个访问 URL 的 IP。 我想在这个数据框中计算不同的 IP-URL 对，最直接的解决方案是sdf.groupBy("ip", "url").count() 。 但是，由于数据框有数十亿行，因此精确计数可能需要很长时间。 我不是特别熟悉PySpark -我试图取代.count()与.approx_count_distinct()这是语法不正确。

我搜索了“如何将.approx_count_distinct()与groupBy() ”并找到了这个答案。 但是，解决方案建议在那里（沿着这些路线： sdf.groupby(["ip", "url"]).agg(F.approx_count_distinct(sdf.url).alias("distinct_count")) ）似乎没有给我我想要的计数。 方法.approx_count_distinct()不能将两列作为参数，所以我也不能写sdf.agg(F.approx_count_distinct(sdf.ip, sdf.url).alias("distinct_count")) 。

我的问题是，有没有办法让.approx_count_distinct()处理多列并计算这些列的不同组合？ 如果没有，是否有另一个功能可以做到这一点，它的示例用法是什么？

非常感谢您的帮助！

Answer 1

根据需要使用表达式和别名进行分组。 我们试试看：

df.groupBy("ip", "url").agg(expr("approx_count_distinct(ip)").alias('ip_count'),expr("approx_count_distinct(url)").alias('url_count')).show()

Answer 2

您的代码sdf.groupby(["ip", "url"]).agg(F.approx_count_distinct(sdf.url).alias("distinct_count"))将为每个组提供 1 的值，因为您正在计算该值分组列之一； 网址。

如果您想使用approx_count_distinct函数计算不同的 IP-URL 对，您可以将它们组合在一个数组中，然后应用该函数。 它会是这样的

sdf.selectExpr("approx_count_distinct(array(ip, url)) as distinct_count")