Google Cloud Dataflow Python --maxNumWorkers

Question

我试图增加使用Apache Beam的python SDK构建的数据流管道的工作程序数量，我发现文档建议设置--maxNumWorkers=标志足以增加最大工作程序数量，使其超过默认值15。 ，当我将此标志添加到管道选项时，它似乎不起作用。 我回头看了这里记录的执行参数选项，发现maxNumWorkers没有出现在Python“指定其他云管道选项”中，而确实出现在Java SDK中-这是Python包的已知限制吗？ 我是否还在考虑在python管道选项内设置maxNumWorkers的其他选项？

注意：我已经确认这不是配额问题，因为我可以指定--num_workers=100但这（我相信）将不使用自动缩放算法，因为它将立即将工作人数设置为100。

Answer 1

看起来在Python中，选项为--max_num_workers 。