直接從MySQL獲得暴風雨嗎？

Question

我想使用Storm集群實時監控用戶活動。 當前，用戶活動日志保存在MySQL中。 每分鍾大約有100,000條記錄記錄到MySQL，每天有20,000,000條記錄。 我想每N分鍾對topN個查看項進行排名。 如何為此設計壺嘴？ 我應該直接在噴口中從MySQL查詢還是使用像Kafka這樣的消息隊列？ 我想要實時性能，所以更喜歡第一種方法。 但是我發現很少有生產實現選擇這種方式。 為什么？

Answer 1

要直接從MySql Bin Logs發出元組，您可以在github（ https://github.com/flipkart-incubator/storm-mysql ）上使用此mysql spout。 該噴口將以流的形式發布您的行更新。 該噴口使用出色的Open Replicator（ https://github.com/whitesock/open-replicator ）尾倉日志。

對於您的用例，然后可能編寫類似於以下內容的螺栓： https : //github.com/nathanmarz/storm-starter/blob/master/src/jvm/storm/starter/RollingTopWords.java

這種方法消除了對消息排隊和更多活動部件的需求。

免責聲明：上面提到的Mysql Spout的作者。