Pyspark 从数字列中删除字符串（或估算它们）

Question

我在数字列中有一些字符串。 像 1, 2, 3, 4, 'lol', 6... 我只想删除这些行。 我怎样才能删除它们？

.cast没有返回 NaN。 我写了function，但是花了太多时间（虚幻），反正也没用……

from pyspark.sql.types import *

def is_digit(val):
    try:
        is_num = str(val).replace(".", "", 1).isdigit() if val else False
        return is_num
    except:
        return False
    
is_digit_udf = F.udf(is_digit, BooleanType())

太傻了:(((

Answer 1

据我了解，您想删除不包含数值的行，对吗？ 然后简单地转换并过滤掉这些值。

df.printSchema()
df.show(10, False)

root
 |-- num: string (nullable = true)

+---+
|num|
+---+
|1  |
|2  |
|3  |
|lol|
|5  |
+---+


import pyspark.sql.functions as f

df.withColumn("num", f.col("num").cast("int")) \
  .filter(f.col("num").isNotNull()) \
  .show(10, False)

+---+
|num|
+---+
|1  |
|2  |
|3  |
|5  |
+---+

Answer 2

使用.rlike() function 通过指定正则表达式仅过滤没有数字的行。

Example:

df.show()
+----+
| val|
+----+
|   1|
|   2|
|   3|
| lol|
|   6|
+----+

df.filter(col("val").rlike("[^a-zA-Z]")).show()

#or using [^\d] regex
df.filter(~col("val").rlike("[^\d]")).show()
#+---+
#|val|
#+---+
#|  1|
#|  2|
#|  3|
#|  6|
#+---+