使用Asyc HBase Scanner进行复杂的正则表达式

Question

我已经开始使用异步HBase库。 我正在尝试使用TableInputFormat。 我不需要Map Reduce作业的所有行，因此我通过在TableRecordReader中为扫描仪对象指定正则表达式来修改了代码。

String regEx=getRegEx(conf); //my function to calculate the regular expression based on the input given in the conf object
System.out.println("RegEx = "+regEx);
scanner.setKeyRegexp(regEx);

基本上，我只是在正则表达式中使用OR（ | ）追加所需行的键。 当我想获取几百行时，此方法有效。 在某些情况下，当我想获取更多行时，我的正则表达式很长（大约600,000）。 但是在这种情况下，扫描仪将停止工作。

我知道基于正则表达式的行键的过滤是在服务器端完成的，复杂的正则表达式可能无法工作。

• 那么如何使扫描程序仅获取所需的行呢？
• 使用多个扫描仪是否有效，以便可以为每个扫描仪提供正则表达式的一部分？
• 还是使用单个扫描仪获取所有行，然后对所需行进行遍历，效率较高？

仅供参考：我表中的行总数将在数千万范围内。

Answer 1

这取决于您的行的长度。 您最有可能达到最大字符串长度，理论上为2,147,483,647 ，但实际上非常限于Java获得的虚拟内存。

仅出于说明目的： 2,147,483,647字符仅需要4GB的专用内存来保存字符串。 您可能需要考虑将字符串拆分，每隔1000行左右制作一个字符串，然后使用所有这些结果来查找所需的结果。