如何同时通过happybase从hbase获取大量数据？

Question

我正在尝试像这样从hbase获取数据：

key = pd.read_sql('select key from table',hive_engine)
table = connection.table('games_ut')

res = {}
n = 0
for key in table.key:
    res[str(key)] = table.row(b'{key}'.format(key=key))
    n += 1
    if n % 100000 == 0:
        print(str(n) + " has been read,need a sleep!")
        sleep(0.5)

sleep（0.5）表示休息。 如您所见，代码运行良好但速度太慢，这给集群带来了很大压力，因为密钥的长度超过4000万。

所以，我想知道有什么办法可以同时获取数据批量。我尝试使用table.rows（），但是fauild .....我是新手，实际上是如何生成批量数据的同时循环播放。

Answer 1

经过我的尝试……我知道该怎么办。

只需使用行并将列表作为关键字传递...