为 Dataframe 应用多个 LIKE 过滤器

Question

regexp_like 在 Spark SQL 中是否有更好的实现如下

SELECT col1,
       col2
FROM fact_table
WHERE UPPER((TRIM(NAME))) LIKE 'VAL1 %'
  OR UPPER((TRIM(NAME))) LIKE '% VAL1 %'
  OR UPPER((TRIM(NAME))) ='VAL1'
  OR UPPER((TRIM(NAME))) LIKE 'VAL1-%'
  OR UPPER((TRIM(NAME))) LIKE 'VAL2 %'
  OR UPPER((TRIM(NAME))) LIKE '% VAL2 %'
  OR UPPER((TRIM(NAME)))='VAL2'
  OR UPPER((TRIM(NAME))) LIKE 'VAL2-%' 

Answer 1

在原始 SQL 编号。 使用 Dataframe API 您可以使用更高级别的函数来组合过滤器表达式：

val filterExpr = Seq("%VAL1 %", "% VAL1%", "VAL1" /* ... */)
                   .map(x => upper(trim($"name")).like(x))
                   .reduce(_ || _)
val df = Seq("MYVAL1 X", "FOO", "val1", "AVAL1").toDF("name").filter(filterExpr).show

+--------+
|    name|
+--------+
|MYVAL1 X|
|    val1|
+--------+

或者，您也可以编写 UDF。