如何确定数据流引擎中的作业结束

Question

**

• 用例和问题

**

我们目前正在构建一个使用数据流引擎的产品，例如 apache Storm。 我们有工作通过 Kafka 来到 Storm。

我们有客户使用我们的门户网站来抓取数据。 每个客户提供一个包含 url 的文件。 这些 url 在 Kafka 中作为记录来到我们这里，例如

客户 1 记录{"job_id":1,"url":"http://google.com} {"job_id":1,"url":"http://facebook.com}

clinet 2 记录{"job_id":2,"url":"http://twitter.com} {"job_id":2,"url":"http://crunchbase.com}

不同的工作涉及单个 kafka 主题。

爬行是4深度爬行。 最初的深度级别是 1。我们正在使用 BFS。 作业的大小将在 1M 左右。

对于每个 url：

• 检查级别 <= 4。
• 抓取链接并下载其页面源。
• 从页面源中提取链接并以 level = level + 1 推送到 Kafka。

这个循环继续。

现在的问题是我想知道一项工作的结束时间，以便进一步通知客户和分析目的。

如何确定4 深度抓取的流式传输作业结束？