如何在 Apache Spark 中記錄延遲評估的數據幀？

Question

如何在不觸發記錄器語句中的操作的情況下登錄 Spark 應用程序？

我希望能夠執行以下操作：

df = df
  .logInfo("value is " + col("xyz));

在Java中可能嗎？

Answer 1

當我閱讀您的偽代碼時，我讀到您將記錄列中的某些元素（5？10？）……您希望該元素如何在日志文件中呈現？ 像show()這樣的 Visual ASCII 數組？

我在類似情況下所做的是調用第一條記錄並簡單地將其顯示在控制台上，如下所示：

df.show(1);

它不會評估 DAG 中的整個數據。 如果您需要訪問值本身，請使用：

Row r = df.first();
log.debug(r.mkString());

看： https : //spark.apache.org/docs/latest/api/java/org/apache/spark/sql/Row.html#mkString-java.lang.String-

我假設 df 是Dataset<Row>一個實例。