最好的NoSQL日志记录解决方案

Question

我正在从事一个项目，该项目正在从在线流媒体平台记录很多有关观众的信息。 今天，MySQL解决方案的问题在于查询太慢，等等。 即使有了扩展和更好的性能调整，它仍然可以工作，因为实时数据就是大量的读写。

对我来说，什么是好的（最好的）NoSQL解决方案？

额外：

• 我们目前还使用Amazon Web服务，用于存储数据。
• 使用Java API，并且首选开源解决方案。
• 面向对象。

Answer 1

并非完全是NoSQL解决方案，但是您是否看过Scribe （来自Facebook）？ 您可以使用http://code.google.com/p/scribe-log4j/从Java编写

Answer 2

您可能面临的第一个挑战是如何在易于管理的情况下可靠地收集大量数据。 有一些开源日志收集器实现，例如syslog， Fluentd ， Scribe和Flume :)

最大的问题是如何存储和处理数据。 正如您指出的那样，使用NoSQL解决方案确实可以很好地工作，但是您需要根据数据量在其中进行选择。

最初，您可以使用MongoDB存储所有数据，但是到最后，您最终将使用Apache Hadoop来构建可大规模扩展的架构。

这里的提示是您应该具有一个分布式日志记录层，该层将存储后端抽象化，并为数据量选择正确的NoSQL解决方案。

这里是一些链接，可将Apache日志放入Fluentd的MongoDB或Hadoop HDFS中。

• 将Apache日志存储到MongoDB中
• Fluentd + HDFS：即时大数据收集

Answer 3

我会花一些时间看这些选项：

• 卡桑德拉
• MongoDB
• Hadoop的

所有这些解决方案都有其优点和缺点，但是它们的Wiki应该提供足够的信息来帮助您入门。