如何基於flink流完成分區觸發氣流作業？

Question

我有一個flink流作業，該作業從Kafka讀取並寫入文件系統中的適當分區。 例如，作業配置為使用存儲在/ data / date = $ {date} / hour = $ {hour}的存儲接收器。

如何檢測該分區已准備好使用，以便相應的氣流管道可以在該小時的頂部進行一些批處理？

Answer 1

您可以查看ContinuousFileMonitoringSource的實現，以了解它如何監視文件系統。 然后執行與David Anderson在另一個問題中建議的類似操作，重新創建自定義ProcessFunction。