簡體   English   中英

如何在 AWS EMR 上使用 Apache Flink 安全地更新正在進行的作業?

[英]How to safely update jobs in-flight using Apache Flink on AWS EMR?

我找不到有關如何安全更新代碼的說明。 我看到有關如何使用保存點的 Flink 文檔。 我希望有一個簡單的解決方案來更新 AWS EMR 中的 Flink 作業。

https://ci.apache.org/projects/flink/flink-docs-release-1.9/ops/deployment/aws.ZFC35FDC70D5FC69D269883A822C7AE53

https://ci.apache.org/projects/flink/flink-docs-release-1.10/ops/upgrading.html

https://ci.apache.org/projects/flink/flink-docs-stable/ops/state/savepoints.html

我期待如下指令(但不適用於 Dataflow 和 Apache Beam):

https://cloud.google.com/dataflow/docs/guides/updating-a-pipeline

https://medium.com/google-cloud/restarting-cloud-dataflow-in-flight-9c688c49adfd

要實現這一點,無論是使用 Flink 命令行界面還是通過REST API ,您都需要使用保存點取消您的作業。 在這兩種情況下,您都會收到保存點的路徑(如果是 REST API,您將收到請求 ID,因為取消是異步操作,但您可以使用它來檢索保存點路徑)。

獲取保存點路徑后,您將能夠再次通過 REST API 或 CLI 啟動新作業,您將能夠在啟動作業時提供保存點的路徑,以便 Flink 自動從 Savepoint 恢復 Z9ED39E2EA9312586B6A包括所有正在進行的記錄。

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM