在Spark Streaming中處理太晚的數據

Question

水印允許使用窗口在一段時間內將遲到的數據考慮為​​已包含在已計算的結果中。 它的前提是，它跟蹤到某個時間點，在該時間點之前，假定不再有任何較晚的事件應該到達，但是如果發生，則仍然將其discarded 。

有沒有一種方法可以存儲丟棄的數據，以便以后用於對帳？ 在結構化流媒體中，我將水印設置為1小時。 我每10分鍾執行一次窗口操作，並且晚20分鍾收到一次以后的事件。 有什么方法可以將丟棄的數據存儲在另一個位置，而不是丟棄它？

Answer 1

不，沒有辦法實現這一方面。