如何从 Pyspark Dataframe 中的字符串列中过滤字母值？

Question

我有一个需要过滤的字符串列。 我需要获取所有包含字母或特殊字符的值。

初始列：

ID
12345
23456
3940A
19045
2BB56
3(40A

预期 output：

ID
3940A
2BB56
3(40A

TIA

Answer 1

只需简单的数字正则表达式就可以解决您的问题。 ^\d+$将捕获所有完全是数字的值。

from pyspark.sql import functions as F

df.where(F.regexp_extract('id', '^\d+$', 0) == '').show()

+-----+
|   id|
+-----+
|3940A|
|2BB56|
|3(401|
+-----+

Answer 2

这个问题非常模糊，所以这是我能给出的最佳答案：

df_filtered = df.filter(any(not c.isdigit() for c in df.id))