使用時間作為輸入的 Apache Beam

Question

我希望創建一個每秒執行一次的 Beam 輸入，並將時間作為輸入輸出。 我知道我可以做一個來自這樣的數字的 pcollection

p.apply(Create.of(1, 2, 3, 4, 5))
        .setCoder(VarIntCoder.of())

我可以創建一個非常大的數字數組並將它們窗口化為每秒一次，但是有沒有更好的方法來做到這一點？ 謝謝。

Answer 1

發現這可以通過GenerateSequence來完成，用於有界或無界集。 為了每秒獲得 1 個數據點，我可以使用 withRate 函數，如果我不包含“to”，那么我的 pcollection 將是無限的。

p.apply(GenerateSequence.from(0).withRate(1, new Duration(1000)))