在 NodeJS 上獲取 Pyspark 作業 Output

Question

我成功提交了 Pyspark 作業，我想 output 作業的結果。

我從以下代碼中得到了工作的結果：

const output = await storage
      .bucket(clusterResp.config.configBucket)
      .file(
        `google-cloud-dataproc-metainfo/${clusterResp.clusterUuid}/` +
          `jobs/${jobId}/driveroutput.000000000`
      )
      .download();

但是，結果還包括作業中的所有日志。

有什么方法可以讓我的 pyspark 文件打印的 output 沒有任何日志記錄信息？

Answer 1

根據在此處輸入的文檔，您可以設置 --driver-log-levels 以查看驅動程序/控制台 output 的作業。