flink 是否為數據集批處理提供檢查點
[英]Does flink provide checkpointing for datasets batch processing
問題描述
如何為 flink 批處理配置檢查點。 我有興趣了解檢查指向如何在內部工作。 由於檢查點是間隔發生的，因此如果作業在下一個點之前失敗，則重新啟動時不會有任何重復處理。 flink 是否為每個操作員、接收器和源檢查點？
1 個解決方案
解決方案1
2 已采納 2020-05-12 16:37:20
Flink 不支持對 DataSet API 進行檢查點。
不過，您可以在具有有限源的 DataStream 中使用檢查點，它已經涵蓋了大部分 DataSet API 用例。 長期願景是用DataStream +有限源完全取代DataSet API，這樣用戶就不需要編寫兩個程序來分析stream或批處理。
有了表 API 和 SQL，這個目標已經很接近了。
Flink 是否提供 Java API 來向 JobManager 提交作業？
[英]Does Flink provide Java API to submit jobs to JobManager?
使用 DataStream API 進行批處理的 Flink Consumer - 我們如何知道何時停止以及如何停止處理 [2 折]
[英]Flink Consumer with DataStream API for Batch Processing - How do we know when to stop & How to stop processing [ 2 fold ]
Spring Batch 是否在處理完每個批次后釋放堆內存？
[英]Does Spring Batch release the heap memory after processing each batch?
Anylogic 是否提供在運行實驗后將數據集保存到 Excel/csv 文件的選項？
[英]Does Anylogic provide the option of saving datasets to Excel/csv-files after the running an experiment?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
如何在Flink中打印執行計划以進行批處理？
Restlet是否支持批處理？
Flink 是否提供 Java API 來向 JobManager 提交作業？
使用 DataStream API 進行批處理的 Flink Consumer - 我們如何知道何時停止以及如何停止處理 [2 折]
如何計時 Apache Flink 流中的檢查點？
Spring Batch 是否在處理完每個批次后釋放堆內存？
Anylogic 是否提供在運行實驗后將數據集保存到 Excel/csv 文件的選項？
在 Apache Flink 中將多個數據集傳輸到下一次迭代
使用Apache Flink進行XML處理
用 Apache Flink 解決 Scheduled Processing
相關標簽