apache storm wordcount：如何估計處理文件所用的時間

Question

我正在使用Apache Storm在Java中開發WordCount； 句子是從文件中提取的，我想估計Storm處理該文件所花費的時間。

我的問題是如何知道Storm LocalCluster已完成對文件所有句子的處理，以及如何估計所需的時間。

Answer 1

對於您的問題，沒有干凈的解決方案，並且無法真正估計所需的時間。

如果啟用容錯機制（即，在噴口處分配消息ID，並在螺栓中錨固和確認），則可以跟蹤噴口中傳入的碼頭。 如果不再有任何元組待處理，即收到了所有確認，那么您將知道所有內容都已完全處理。