在谷歌云数据流中使用 experiments=no_use_multiple_sdk_containers

Question

问题摘要：您好，我正在使用 avro 1.11.0 版来解析 avro 文件并对其进行解码。 我们有自定义要求，所以我无法使用 ReadFromAvro。 当尝试使用数据流进行此操作时，会出现依赖性问题，因为版本 1.82 的 avro-python3 已经可用。 问题是 class TimestampMillisSchema，它在 avro-python3 中不存在。 它无法说明在 avro.schema 中找不到属性 TimestampMillisSchema。 然后我尝试使用 avro==1.11.0 传递一个需求文件，但现在数据流无法开始给出错误“Error syncing pod”，这似乎是因为依赖项冲突。

为了解决这个问题，我们设置了一个运行良好的实验标志（--experiments=no_use_multiple_sdk_containers）。

我想知道我的问题的更好解决方案，并且上面的标志是否会影响管道性能。

Answer 1

请尝试使用数据流运行命令：

--prebuild_sdk_container_engine=cloud_build --experiments=use_runner_v2

这将使用云构建来构建具有额外依赖项的容器，然后在数据流运行中使用它。