為 Dataframe 應用多個 LIKE 過濾器

Question

regexp_like 在 Spark SQL 中是否有更好的實現如下

SELECT col1,
       col2
FROM fact_table
WHERE UPPER((TRIM(NAME))) LIKE 'VAL1 %'
  OR UPPER((TRIM(NAME))) LIKE '% VAL1 %'
  OR UPPER((TRIM(NAME))) ='VAL1'
  OR UPPER((TRIM(NAME))) LIKE 'VAL1-%'
  OR UPPER((TRIM(NAME))) LIKE 'VAL2 %'
  OR UPPER((TRIM(NAME))) LIKE '% VAL2 %'
  OR UPPER((TRIM(NAME)))='VAL2'
  OR UPPER((TRIM(NAME))) LIKE 'VAL2-%' 

Answer 1

在原始 SQL 編號。 使用 Dataframe API 您可以使用更高級別的函數來組合過濾器表達式：

val filterExpr = Seq("%VAL1 %", "% VAL1%", "VAL1" /* ... */)
                   .map(x => upper(trim($"name")).like(x))
                   .reduce(_ || _)
val df = Seq("MYVAL1 X", "FOO", "val1", "AVAL1").toDF("name").filter(filterExpr).show

+--------+
|    name|
+--------+
|MYVAL1 X|
|    val1|
+--------+

或者，您也可以編寫 UDF。