繁体   English   中英

flink 是否为数据集批处理提供检查点

[英]Does flink provide checkpointing for datasets batch processing

如何为 flink 批处理配置检查点。 我有兴趣了解检查指向如何在内部工作。 由于检查点是间隔发生的,因此如果作业在下一个点之前失败,则重新启动时不会有任何重复处理。 flink 是否为每个操作员、接收器和源检查点?

Flink 不支持对 DataSet API 进行检查点。

不过,您可以在具有有限源的 DataStream 中使用检查点,它已经涵盖了大部分 DataSet API 用例。 长期愿景是用DataStream +有限源完全取代DataSet API,这样用户就不需要编写两个程序来分析stream或批处理。

有了表 API 和 SQL,这个目标已经很接近了。

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM