什么可能導致Apache Flink作業中的長屏障對齊持續時間？

Question

我在YARN上運行我的Flink工作，我發現少量子任務遇到長對齊持續時間。

什么可能導致這個問題？

Answer 1

對於完全一次的語義，Flink在接收多個輸入流的運算符處對齊流，因此大對齊意味着任務管理器比其他節點更晚地接收一些障礙。

有關對齊的文檔可以在這里找到，並且有一些方法來監視檢查點

更具體地說，原因可能是：

1. 數據傾斜。 大多數數據已發送到大對齊持續時間節點。
2. 垃圾收集：GC將極大地影響檢查點對齊。
3. 長期訪問，即需要很長時間才能進入或獲取狀態。 對於RocksDB，請檢查是否存在索引未命中或緩存未命中問題。
4. 網絡緩沖問題 。
5. 用戶代碼錯誤。 例如，無限循環或其他問題。