AWS 並行執行 state 以編排 EMR 作業

Question

我們正在使用 AWS 步驟編排數據管道，我們確實需要並行運行 EMR 作業。 我試過使用 Map state 並且它按預期工作。 Map 的唯一問題是萬一一個步驟失敗，它也會取消所有其他步驟。 為了克服這個問題，我在想我們是否可以創建一個步驟數組並將其動態地並行傳遞給Branches state但我無法做到這一點，因為它不接受字符串。 是否有解決方法，或者我們只能在 Parallel state 中硬編碼分支？ 在這種情況下，States.Array() 能以某種方式提供幫助嗎？

Answer 1

將內部 state 機器包裝在一個單分支並行 state 中，並向其添加錯誤/重試策略。 基本上，您希望捕獲所有錯誤並確保迭代始終成功。

Answer 2

僅適用於試圖尋找所述問題的解決方案的人。 正如 Pooya 所建議的，我確實在 Map 的任務中使用了 catch 塊，而不是將其保持在 map 級別。state 機器看起來像這樣