如何在 Spark 中格式化单个输出值？

Question

我是 Spark 的新手。 有人可以帮助我解决以下错误（见附图）。 我试图将 pct 格式化为 2 位小数。 我想知道为什么我不能使用 format_number 将输出“pct”四舍五入到 2 个小数位？ 那是因为我只能在 Spark 中使用 DataFrames 吗？ 谢谢！

Answer 1

您正在尝试调用 Spark 内置函数format_number ，它需要Column但您传递了float 。

Spark SQL 内置函数旨在与 DataFrames 一起使用。 你这样做的方式，你应该使用 Python formater for floats 只输出 2 位小数。

"{0:.2f}".format(pct)

但是，如果您以这种方式计算该百分比，您可能已经使用过它：

df.select(sum((col("High") > 80).cast("int")).alias("count_high")
          , count(col("High")).alias("total"))\
  .select(format_number(col("count_high") / col("total") * 100, 2).alias("pct"))\
  .show()