如何在 AWS EMR 中擴展 Flink 作業

Question

我有一個在 AWS EMR 中運行的 flink（版本1.8 ）作業，它目前位於作業管理器和任務管理器的m5.xlarge上。 有1個工作經理和4個任務經理。 一個m5.xlarge有 4 個 vCPU 和 16 GB RAM。

創建紗線 session 時，我傳入以下參數： -n 4 -s 4 -jm 768 -tm 103144 。

工作節點設置為 16 的並行度。

目前，flink 作業運行有點慢，所以我想讓它更快。 我嘗試使用m5.2xlarge （8 個 vCPU 和 32 GB RAM）進行不同的配置，但在部署時遇到了問題。 我認為這是因為我沒有正確的數字來正確使用新的實例類型。 我嘗試使用插槽數、jm/tm memory 分配和並行數，但不能完全正確。 如果我將擁有的資源量翻倍，我將如何調整我的 flink 作業參數？

Answer 1

我不得不說“這取決於”。 您需要將並行度加倍。 默認情況下，我會通過將任務管理器的數量增加一倍來實現這一點，並將它們配置為與現有 TM 相同。 但在某些情況下，最好將每個 TM 的插槽加倍，並為 TM 提供更多 memory。

在您運行的規模上，我不希望它有太大的不同。 任何一種方法都應該可以正常工作。 在更大的規模上，我傾向於切換到 RocksDB（如果你還沒有使用它），並運行更少、更大的 TM。 如果您需要使用基於堆的 state 后端，您最好使用更多、更小的 TM。