Apache Spark DataFrame：帶有Java：List屬性的df.where（）

Question

假設您有這樣的df：

a b  
1 1  
1 2  
1 3  
2 1  
2 2  
2 3  

並且您想要實現通用的.where功能； 如何按列表過濾

val l1:List[Int] = List (1,2)  
df.where($"b" === l1:_*) // does not work

甚至還有一個選擇，您可以在其中提出如下要求：

df.where($"a" === l1:_* && $"b" === l1:_*)

Answer 1

如果我說對了，那么您需要IN語義：

df.where($"b" isin (l1: _*)).show()
+---+---+ 
|  a|  b| 
+---+---+ 
|  1|  1| 
|  1|  2| 
|  2|  1| 
|  2|  2| 
+---+---+ 

和

df.where(($"a" isin (l1: _*)) and ($"b" isin (l1: _*))).show()
+---+---+ 
|  a|  b| 
+---+---+ 
|  1|  1| 
|  1|  2| 
|  2|  1| 
|  2|  2| 
+---+---+