Spark SQL喜欢查找带有尾随数字的所有字符串

Question

在从数据框架查询时，我试图使用rlike但没有取得多大成功。

样本数据：

column_a|column_b
1|abc xyz
2|123 abc xyz
3|abc 123 xyz
4|abc 123
5|xyz 123

预期产量：

column_a|column_b
4|abc 123
5|xyz 123

我努力了：

select * from table_1 where column_b rlike '\d+$' (select * from table_1 where column_b rlike '/\d+$')

输出（无结果）：

column_a|column_b

我也尝试过：

select * from table_1 where column_b rlike '\d*$' (select * from table_1 where column_b rlike '/\d*$')

输出（所有行）：

column_a|column_b
1|abc xyz
2|123 abc xyz
3|abc 123 xyz
4|abc 123
5|xyz 123

我的正则表达式是不正确的？ 我已经使用python和在线测试器进行了测试，看起来是正确的。 或者rlike支持一些特定的正则表达式？

Answer 1

你需要更多的逃避才能使它工作。 尤其是：

spark.sql("SELECT 'abc 123' RLIKE '\\\\d+$'").show()

+------------------+
|abc 123 RLIKE \d+$|
+------------------+
|              true|
+------------------+

spark.sql("SELECT '123 abc xyz' RLIKE '\\\\d+$'").show()

+----------------------+
|123 abc xyz RLIKE \d+$|
+----------------------+
|                 false|
+----------------------+