使用 Dataflow 的 DLP 从 GCS 读取并写入 BigQuery - 只有 50% 的数据写入 BigQuery

Question

我最近启动了一个数据流作业，从 GCS 加载数据并通过 DLP 的识别模板运行它，并将屏蔽的数据写入 BigQuery。 我找不到谷歌提供的批处理模板，因此使用了流式模板（参考： 链接）。 我看到只有 50% 的行写入了目标 BigQuery 表。 管道上一天没有活动，即使它在运行 state。

Answer 1

是的 DLP 数据流模板是一个流式管道，但通过一些简单的更改，您也可以将其用作批处理。 这是模板源代码。 如您所见，它每 30 秒使用File IO 转换和轮询/监视任何新文件。 如果你去掉 window 转换和连续轮询语法，你应该可以作为批处理执行。

关于管道不处理所有数据，您能否确认您是否正在使用默认设置运行大文件？ 例如- workerMachineType、numWorkers、maxNumWorkers？ 当前的管道代码使用基于行的偏移，如果输入文件很大，这需要具有大量工作人员的高内存机器类型。 例如，对于 10 GB、80M 行，您可能需要 5 个 highmem worker。

您可以尝试查看是否有帮助的一件事是使用更多资源触发管道，例如：--workerMachineType=n1-highmem-8, numWorkers=10, maxNumWorkers=10 并查看它是否更好。

或者，有一个V2 解决方案，它使用基于字节的偏移，使用state 和计时器 API来优化批处理和资源利用率，您可以尝试一下。