在选择hbase之前应该考虑什么？

Question

我是大数据领域的新手。

我们得到团队的建议我们应该使用hbase而不是RDBMS来获得高性能。 在将RDMS切换到hbase之前，我们不知道应该/必须考虑什么。 有任何想法吗？

Answer 1

我最喜欢的一本书描述了......

来到@Whitefret的最后一点：基于可以做出决定，有一些叫做CAP theorm的东西。

• 一致性（所有节点同时看到相同的数据）

• 可用性（每个请求都会收到有关成功还是失败的响应）

• 分区容差（尽管由于网络故障导致任意分区，系统仍继续运行）

在这种情况下，Hbase支持CP

但是，要将RDBMS切换到HBASE，您可以使用SQOOP 。

Answer 2

这是一个棘手的问题，需要考虑很多事情。

1. 你能优化你的RDBMS吗？ 添加索引，连接的非规范化成本太高......有很多路要考虑，我不是专家。
2. 你的数据很大吗？ 这是非常模糊的，你在RDBMS和大数据之间有一个空间，你不能确定使用哪一个。 RDBMS仍然可以有效地处理数百万行。
3. 你需要关系数据吗？ NoSQL数据库不使用关系，这对于SQL背景的人来说很难。 有一些框架可以将SQL提供给HBase，但是在使用大数据时通常使用RDBMS模型是一个坏主意

如果您可以回答这些问题，并且您认为NoSQL是演习，请向您的团队询问他们对此的看法。 NoSQL数据库带来了您在SQL世界中永远不会遇到的问题。 他们应该首先构建一个原型，以了解所有这些是如何工作的，并且可以为他们提供一些培训。

综上所述：
- 查找是否需要非关系数据库
- 选择合适的（Hbase真的是你需要的吗？，为什么不考虑Cassandra或MongoDB？）

Answer 3

像所有NoSQL DB一样，HBase具有很棒的新功能，但遗憾的是没有任何东西是免费的（甚至没有提到钱的成本）。

在HBase中，您确实应该检查是否可以使用HBase数据模型填充您可能想要执行的所有查询。 一个重要的考虑因素是架构设计（最重要的是rowkey的模型化）。 我建议你阅读这篇非常好的论文：

http://0b4af6cdc2f0c5998459-c0245c5c937c5dedcca3f1764ecc9b2f.r43.cf2.rackcdn.com/9353-login1210_khurana.pdf

我认为可以在HBase官方网站上找到一个非常好的答案。

“HBase并不适合所有问题。

首先，确保您有足够的数据。 如果你有数亿或数十亿行，那么HBase是一个很好的候选者。 如果你只有几千/百万行，那么使用传统的RDBMS可能是一个更好的选择，因为你的所有数据都可能在一个节点（或两个）上结束，并且集群的其余部分可能正在闲。

其次， 确保您可以在没有RDBMS提供的所有额外功能的情况下生存（例如，键入的列，二级索引，事务，高级查询语言等） 。针对RDBMS构建的应用程序无法通过简单地更改“移植”到HBase例如，JDBC驱动程序。 考虑从RDBMS迁移到HBase作为完全重新设计而不是端口。

第三，确保你有足够的硬件。 甚至HDFS也不适用于少于5个DataNode的任何东西（由于诸如HDFS块复制之类的东西，默认值为3），加上NameNode。

HBase可以在笔记本电脑上独立运行 - 但这应该只被视为开发配置。 “

https://hbase.apache.org/book.html