[英]Can an Apache Beam batch process be restarted from a checkpoint?
我在Google Cloud Dataflow上有一个长期运行的Apache Beam批处理分析过程，但此过程一直失败。 为了节省时间和成本，是否可以更新我的代码以处理故障，并使用缓存的中间检查点从故障点重新运行？
当数据流终止（成功或失败）时，数据流批处理流水将丢弃所有中间结果。
当前，您需要在实现中间数据的管道中添加点，然后在失败时可以启动新管道，该管道是现有管道的子集，该管道读取中间结果并继续进行处理。
我可以分块处理 apache 光束中的 pcollections 吗？ 我可以分批制作 pcollection 并分别处理每批吗？
[英]Can I process pcollections in apache beam in chunks? Can I make batches of pcollection and process each batch separately?
是否有可以从 Google Spanner 读取 JSON 的 Apache Beam 版本？
[英]Is there a version of Apache Beam that can read JSON from Google Spanner?
我们可以在 apache-beam 的批处理管道中使用 Windows + GroupBy 或 State & timely 打破 fusion b/w ParDo 吗？
[英]Can we break fusion b/w ParDo using Windows + GroupBy or State & timely in batch pipeline of apache-beam?
Apache Beam python Bigquery将流插入更改为批处理插入吗？
[英]Apache Beam python Bigquery change streaming insert into batch insert?
是否可以将批处理数据与 Apache 光束中的流数据结合起来？
[英]Is it possible to join batch data with streaming data in Apache beam?
Apache Beam Python DoFn处理方法和关键字 arguments
[英]Apache Beam Python DoFn process method and keyword arguments
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
