如何區分 Flink + Pulsar 上的鍵和計算器

Question

我是新手，我正在研究 Flink 和 Pulsar。 我有一項關於 Flink 的 SlidingProcessingTimeWindows 上來自脈沖星的計算器不同數據的任務

我的windowSize：60s和windows幻燈片：5s

我每秒鍾從主題 pulsar 的數據消費者（收到 2 條消息/ 1 秒）：

00: 
    - a.example.com 
    - a.example-2.com
---
01: 
    - b.example.com
    - a.example-2.com
---
02: 
    - c.example.com
    - a.example-2.com
---
03: 
    - a.example.com
    - a.example-2.com
---
04: 
    - b.example.com
    - a.example-2.com

如何分組鍵和計算器以接收結果：

example.com => 5
example-2.com => 1

我花了很多時間對此進行研究，但我無法解決它。

我有一個問題，當第一個 window 幻燈片運行時，我的工作收到了從當前時間到過去的所有數據，我只收到了 window 大小的數據。

Answer 1

Flink SQL 非常適合這個。

SELECT window_start, window_end, domain, COUNT(*)
  FROM TABLE(
    HOP(TABLE Events, DESCRIPTOR(time), INTERVAL '5' SECONDS, INTERVAL '60' SECONDS))
  GROUP BY window_start, window_end, domain;

您可以通過TableEnvironment#executeSql直接從 Scala 執行 SQL ，也可以使用表 API 。