如何计算 pandas dataframe 中空值的百分比？

Question

我有一个 dataframe df ，从中我知道有空值，即 '' （空格）。 我想计算这些观察值每列的百分比并将它们替换为NaN 。

要获得我尝试过的百分比：

for col in df:
   empty = round((df[df[col]] == '').sum()/df.shape[0]*100, 1)

我有一个类似的代码来计算零点，它确实有效：

zeros = round((df[col] == 0).sum()/df.shape[0]*100, 1)

Answer 1

我认为您需要Series.isna来测试缺失值（但不是空格）：

nans = round(df[col].isna().sum()/df.shape[0]*100, 1)

解决方案应简化为mean ：

nans = round(df[col].isna().mean()*100, 1)

要将空格或空格替换为NaN ，请使用：

df = df.replace(r'^\s*$', np.nan, regex=True)

nans = round(df[col].isna().mean()*100, 1)

如果需要测试所有列：

nans = df.isna().mean().mul(100).round()

Answer 2

您的问题的完整答案将是：

for col in df:
    empty_avg = round(df[col].isna().mean()*100, 1) # This line is to find the average of empty values.

df = df[df != ''] # This will replace all the empty values with NaN.