[英]How to run a beam pipeline written in python on apache flink
我已经使用python sdk编写了我的光束管道。 我将芹菜用作直接赛跑者的包裹物。 我想使用flink运行程序并行化我的负载。
根据文档，您需要将工作作为flink运行程序的jar文件提供。
您能指出我可以同时使用apache beam python sdk和apache flink的任何资源吗？ 有样品吗？
到目前为止（ Apache Beam 2.2.0 ）不支持Apache Beam Python SDK的Apache Flink Runner。 当您尝试在Python管道中使用FlinkRunner ，将出现ValueError ：
ValueError：意外的管道运行器：FlinkRunner。 有效值为DirectRunner，EagerRunner，DataflowRunner，TestDataflowRunner或PipelineRunner子类的完全限定名称。
您可以在以下源代码中看到它： https : //github.com/apache/beam/blob/d11b9e9560131f55b418a13a7d10401c2135fb33/sdks/python/apache_beam/runners/runner.py#L62
如何在 Kubernetes 的 Flink 集群上运行 Apache Beam Python 管道？
[英]How to run Apache Beam Python pipelines on Flink cluster in Kubernetes?
在 python 中运行管道期间访问 Apache Beam 指标值？
[英]Access Apache Beam metrics values during pipeline run in python?
如何在 Python 中使用 apache beam Pipeline 处理异常？
[英]How can I handle an exception using apache beam Pipeline in Python?
apache 光束数据流管道（python）中的步骤的 If 语句
[英]If statement for steps in a apache beam dataflow pipeline (python)
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
