HBase多线程客户端性能

Question

我们在伪分布式模式下使用hbase 1.2.4和java api来读取信息。 我们的客户向hbase赚了20k rps，但是它只加载30％的cpu，计算大约需要5个小时。 我试图拆分数据并在单独的jvm的同一台计算机上运行4个客户端，并且具有80k rps，计算时间约为一小时。 这不是让我满意的解决方案。 分析显示出许多阻塞连接线程的情况。 我也尝试过使用hbase客户端的ipc池选项，但是它并没有提高太多性能。 如果有人有类似的问题，请给我一些建议。

Answer 1

设置连接池的大小要大得多，然后读取线程数就可以了。

Configuration conf;
...
String poolSize = "128";
conf.set(HConstants.HBASE_CLIENT_IPC_POOL_SIZE, poolSize);
conf.set(HConstants.HBASE_CLIENT_IPC_POOL_TYPE, "RoundRobin");
...
Connection conn = ConnectionFactory.createConnection(conf);
...