来自 Colab 问题的数据流

Question

我正在尝试从 Colab 运行数据流作业并收到以下工作人员错误：

sdk_worker_main.py: error: argument --flexrs_goal: invalid choice: '/root/.local/share/jupyter/runtime/kernel-1dbd101c-a79e-432e-89b3-5ba68df104d7.json' (choose from 'COST_OPTIMIZED', 'SPEED_OPTIMIZED')

我没有提供flexrs_goal参数，即使我这样做也不能解决这个问题。 这是我的管道选项：

beam_options = PipelineOptions(
    runner='DataflowRunner',
    project=...,
    job_name=...,
    temp_location=...,
    subnetwork='regions/us-west1/subnetworks/default',
    region='us-west1'
)

我的管道非常简单，它只是：

with beam.Pipeline(options=beam_options) as pipeline:
  (pipeline 
    | beam.io.ReadFromBigQuery(
        query=f'SELECT column FROM {BQ_TABLE} LIMIT 100')
    | beam.Map(print))

看起来 sdk 工作人员的命令行参数不知何故被 jupyter 污染了。 我已经回滚到过去的两个 apache-beam 库版本，但没有帮助。 我可以转移到 Vertex Workbench，但我在这个 Colab notebook 上投入了很多（而且我喜欢轻松共享），我宁愿不迁移。

Answer 1

弄清楚了。 如果没有为第一个参数（称为flags ）提供参数，则PipelineOptions构造函数将sys.argv 。 在我的例子中，它引入了我的 jupyter notebook 启动时使用的命令行参数，并将它们作为 Beam 选项传递给工作人员。

我通过这样做解决了我的问题：

beam_options = PipelineOptions(
    flags=[],
    ...
)