如何计算 Spark DataFrame 的所有列中无值（字符串数据类型）的单元格数量？

Question

我有一个大数据集，有些列具有 String 数据类型。 由于拼写错误，一些单元格没有值，但写成不同的 styles（小写或大写字母，有或没有空格，有或没有括号等）。

我想计算所有列中所有这些值（不包括 Null 值）的编号。 示例数据集如下：

data = [("A", "None", 1), \
    ("A", "(None)", 2), \
    ("[None", "none", 3), \
    ("(none]", "[None]", 4), \
    ("A", "(none)", 5), \
    ("A", "(none", 6), \
    ("A", "none  ", 7), \
    (" NOne  ", None, None), \
  ]

# Create DataFrame
columns= ["col_1", "col_2", "Number"]
df = spark.createDataFrame(data = data, schema = columns)

预期结果是：

{'col_1': 3, 'col_2': 7, 'Number': 0}

知道如何在 PySpark 之前做到这一点吗？

Answer 1

逻辑是：

• 使用正则表达式从列值的开头和结尾删除各种左括号和右括号。
• 修剪多余的空格，转换为较低的并与“无”进行比较。
• 计算每一列的过滤记录。

count_result = {}
for c in df.columns:
  count_result[c] = df.select(c).filter(F.lower(F.trim(F.regexp_replace(c, r"(?:^\[|^\(|^\<|^\{|\]$|\)$|\>$|\}$)", ""))) == "none") \
               .count()
  
print(count_result)

Output：

{'col_1': 3, 'col_2': 7, 'Number': 0}