如何在 Apache Spark 中记录延迟评估的数据帧？

Question

如何在不触发记录器语句中的操作的情况下登录 Spark 应用程序？

我希望能够执行以下操作：

df = df
  .logInfo("value is " + col("xyz));

在Java中可能吗？

Answer 1

当我阅读您的伪代码时，我读到您将记录列中的某些元素（5？10？）……您希望该元素如何在日志文件中呈现？ 像show()这样的 Visual ASCII 数组？

我在类似情况下所做的是调用第一条记录并简单地将其显示在控制台上，如下所示：

df.show(1);

它不会评估 DAG 中的整个数据。 如果您需要访问值本身，请使用：

Row r = df.first();
log.debug(r.mkString());

看： https : //spark.apache.org/docs/latest/api/java/org/apache/spark/sql/Row.html#mkString-java.lang.String-

我假设 df 是Dataset<Row>一个实例。