Spark DataFrame 在列中包含特定的 integer 值

Question

我有一個簡單的 Spark DataFrame，其列ID為 integer 值1 、 2等：

+---+-------+
| ID| Tags  |
+---+-------+
|  1| apple |
|  2| kiwi  |
|  3| pear  |
+---+-------+

我想檢查像2這樣的值是否在任何行的列ID中， filter方法僅對字符串列有用。 有任何想法嗎？

更新：

我正在嘗試： df.filter(df.ID).contains(2)

最后我需要boolean True或False output。

Answer 1

不可以。 Filter也可以過濾其他數據類型。

dataDictionary = [
    (1,"APPLE"),
    (2,"KIWI"),
    (3,"PEAR")
    ]

df = spark.createDataFrame(data=dataDictionary, schema = ["ID","Tags"])
df.printSchema()
df.show(truncate=False)
df.filter("ID==2").rdd.isEmpty()  #Will return Boolean.