[英]Does flink provide checkpointing for datasets batch processing
如何为 flink 批处理配置检查点。 我有兴趣了解检查指向如何在内部工作。 由于检查点是间隔发生的,因此如果作业在下一个点之前失败,则重新启动时不会有任何重复处理。 flink 是否为每个操作员、接收器和源检查点?
Flink 不支持对 DataSet API 进行检查点。
不过,您可以在具有有限源的 DataStream 中使用检查点,它已经涵盖了大部分 DataSet API 用例。 长期愿景是用DataStream +有限源完全取代DataSet API,这样用户就不需要编写两个程序来分析stream或批处理。
有了表 API 和 SQL,这个目标已经很接近了。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.