Storm-hbase螺栓故障转移DRPC

Question

我正在编写一个Storm拓扑，以使用DRPC从HBase读取数据。 本质上，这将执行扫描以获取数据，丰富数据并将其返回。

我可以轻松地得到一个基本的DRPC示例工作（基于http://storm.apache.org/releases/current/Distributed-RPC.html ）。 但是，当我插入扫描代码时，该过程将花费很长时间。 一分钟后，出现以下错误：

backtype.storm.generation.DRPCExecutionException

在backtype.storm.daemon.drpc $ service_handler $ reify__8688.failRequest（drpc.clj：136）〜[storm-core-0.10.0.2.4.2.0-258.jar：0.10.0.2.4.2.0-258]

在backtype.storm.drpc.DRPCSpout.fail（DRPCSpout.java:241）〜[storm-core-0.10.0.2.4.2.0-258.jar：0.10.0.2.4.2.0-258

不久之后，我得到了org.apache.hadoop.hbase.client.RetriesExhaustedException。 这并不总是发生，但很常见。 我基于此的假设是以下两种可能性之一：

扫描超时。 但是，在不到一秒钟的时间内通过HBase Shell或REST执行扫描将返回表不一致，从而导致某些区域丢失。 我已经运行了hbase hbck，它显示了0个不一致的地方。 我知道与HBase的连接很好：我已经添加了调试输出，并且螺栓获得了结果。 但是，由于DRPCExecutionException，这些结果永远不会通过DRPC返回。

虽然问题出在DRPC超时上，但是我增加了DRPC超时很多，并且在相同的时间内获得了相同的结果。 谷歌搜索后，我发现其他人也遇到了相同的问题（ [Storm] [DRPC]请求失败 ），但是没有任何迹象表明如何解决此问题。

供参考，我在下面添加我的代码：

try (Table table = HbaseClient.connection().getTable(TableName.valueOf("EPG_URI"))) 
    {
        List<Filter> filters = new ArrayList<>();
        String startRowString = "start";
        String endRowString = "end";
        RowFilter startRow = new RowFilter(CompareFilter.CompareOp.GREATER_OR_EQUAL, new BinaryPrefixComparator(startRowString.getBytes()));
        filters.add(startRow);
        RowFilter endRow = new RowFilter(CompareFilter.CompareOp.LESS_OR_EQUAL, new BinaryPrefixComparator(endRowString.getBytes()));
        filters.add(endRow);
        FilterList filterList = new FilterList(FilterList.Operator.MUST_PASS_ALL, filters);

        Scan scan = new Scan();
        scan.addFamily("f1".getBytes());
        scan.setFilter(filterList);

        ResultScanner scanner = table.getScanner(scan);
        for (Result result : scanner) 
        {
            hbaseValues.add(result);
        }
    }
}

先谢谢您的帮助。

Answer 1

好的，所以我不知道为什么会出现最初的问题，但是我确实通过大大简化扫描仪来解决了这个问题：

Scan scan = new Scan(startRowString.getBytes(), endRowString.getBytes());
scan.addFamily("f1".getBytes());
ResultScanner scanner = table.getScanner(scan);            
for (Result r : scanner)
{...}

基于此，问题似乎出在HBase而不是Storm上。