使用简单模型对1TB数据进行报告/分析的数据库

Question

大数据= 1TB每年增长10％。 模型很简单..一个有25列的表。 没有与其他表连接..

我希望对25列的子集进行简单的查询过滤。

我猜想在过滤列上有索引的传统SQL存储是必要的。 Hadoop过度使用并没有意义，因为这是实时服务。 蒙戈？ 像pentaho这样的双引擎？

有什么建议？

Answer 1

似乎传统的解决方案确实听起来不错，除非你所描述的真正简单的模型没有任何重大变化。

NoSQL听起来不是BI /报告的最佳选择。

获得一个好的硬件。 花时间进行性能测试并构建所有必需的索引。 实施适当的新数据上传策略。 根据您的需求和性能测试在PostgreSQL中实现表级分区 。

PS如果我现在有机会从ORACLE / DB2切换，我肯定会选择PostgreSQL。

Answer 2

我建议在这里调查Infobright - 它是基于列和压缩的，所以你不会存储完整的TB，有一个开源版本，所以你可以尝试一下而不被一群销售人员调用（但上次我看起来OSS版本缺少一些非常有用的东西，所以你可能最终想要一个许可证）。 上次我试过它，它看起来像MySQL这样的外部世界，所以不难集成。 当我上次检查时，它是面向单一服务器的，并声称在单个服务器上最多可以使用50TB。 如果你决定向那个方向前进，我认为 Infobright可以坐在Pentaho身后。

好极了的事情是因为它非常接近于没有管理员 - 没有手动索引或索引维护。

Answer 3

听起来像列商店会有所帮助。 取决于你如何处理插入，以及你是否需要进行更新。 但如果你要商业化，那么除了infobright，然后向外检查，它更快，价格相近。

如果你想要免费/开源，那么看看Luciddb - 没有太多的文档，但是它的功能非常好！

如果你想要令人难以置信的速度，那么请向外检查。 我相信它和infobright的价格差不多，但要快得多。