数据流作业提取元信息

Question

假设我有数据流作业，它从存储桶a读取并写入 BQ 表dataset.tableTest 。 是否可以从数据流 REST API 中提取精确的元信息，数据流作业中使用什么源（ a ）和接收器（ dataset.tableTest ）？

Answer 1

您可以使用以下命令获取 Dataflow 作业中的步骤列表。

jobs describe <Job ID> --full

但请注意，从 Cloud Dataflow 的角度来看，您的工作只是运行一组 Beam 转换。 它不会根据功能对步骤进行分组或标识（例如，步骤是否为源/汇转换）。