在我的 pyspark 代码中,我正在读取测试 csv 文件,对其进行过滤并写入。 我可以在控制台中使用json格式的LoggingLineageDispatcher看到的所有操作,但我想找到一种方法在我的 python 代码中正确获取这些数据。 找不到任何选项。 我的pyspark代码: 我 ...
在我的 pyspark 代码中,我正在读取测试 csv 文件,对其进行过滤并写入。 我可以在控制台中使用json格式的LoggingLineageDispatcher看到的所有操作,但我想找到一种方法在我的 python 代码中正确获取这些数据。 找不到任何选项。 我的pyspark代码: 我 ...
我正在尝试在 Azure Databricks 中设置样条曲线,但遇到了这个问题,对此有什么帮助吗? 我已经通过从这里下载在集群中安装了相应的 Spark 代理 - https://mvnrepository.com/artifact/za.co.absa.spline.agent.spark/ ...
我一直在尝试使用新的样条线 jsr 运行以下代码:za.co.absa.spline.agent.spark:spark-3.0-spline-agent-bundle_2.12:0.6.0 但遇到了特定于 UserExtraMetadataProvider 的错误在较新的版本中已弃用。 我还尝试使 ...
我正在探索样条曲线以确定火花执行管道所需的时间(从初始化火花上下文到写入结果)。 我能看见 在实际上是写入时间的样条谱系文件中。 是否有任何选项可以从 Spline Lineage Log 获取管道的开始时间? ...
我尝试使用样条曲线使用此处指定的两种方式跟踪 spark 中的沿袭但它们都因相同的错误而失败错误 QueryExecutionEventHandlerFactory:样条初始化失败! Spark 沿袭跟踪已禁用 Spark Agent 无法与样条网关建立连接 CausedBy:java.net. ...