将具有不同长度的一列中的 NaN 值替换为具有附加条件的另一列

Question

我正在使用泰坦尼克号数据集。 这组有 891 行。 目前我专注于“年龄”栏目。

import pandas as pd
import numpy as np
import os
titanic_df = pd.read_csv('titanic_data.csv')
titanic_df ['Age']

'Age' 列有 177 个 Nan 值，所以我想用我的样本值替换这些值。 我已经为本专栏制作了示例，您可以在下面查看代码。

age_sample= titanic_df ['Age'][titanic_df ['Age'].notnull()].sample(177)

所以下一个陡峭的应该是把Nan值从age_sample替换成titanic_df ['Age']。 为了做到这一点，我尝试使用这行代码。

titanic_df ['Age']=age_sample

titanic_df ['Age'].isna()=age_sample

但不知不觉在这里我犯了一些错误。 那么任何人都可以帮助我如何将样本（177行）中的值替换为原始数据集（891行）并仅替换Nan值。

Answer 1

您需要 select 使用loc要更新的子帧：

titanic_df.loc[titanic_df['Age'].isna(), 'Age'] = age_sample

Answer 2

两行解决方案：

age_sample = df['Age'][df['Age'].notnull()]
df['Age']  = list(age_sample) + list(age_sample.sample(177))

如果NaN值的数量未知：

nan_len = len(df['Age'][df['Age'].isna()])
age_sample = df['Age'][df['Age'].notnull()]
df['Age']  = list(age_sample) + list(age_sample.sample(nan_len ))

Answer 3

我将我的答案分为两部分。 您正在寻找的解决方案和使其更强大的解决方案。

您正在寻找的解决方案

我们必须首先找到缺失值的数量，然后生成与我们的缺失值匹配的样本数量，然后分配。 这将确保您拥有相同大小的所需缺失值。

...
age_na_size = titanic_df ['Age'].isna().sum()

# generate sample of that sum
age_sample= titanic_df ['Age'][titanic_df ['Age'].notnull()].sample(age_na_size)

# feed that to missing values
titanic_df.loc[titanic_df['Age'].isna(), 'Age'] = age_sample

使其健壮的解决方案

1. 找到组的平均年龄并据此替换缺失值。 示例按性别、碳等特征分组，有意义并使用中位年龄作为替代品。
2. 使用 k-Nearest Neighbor 作为年龄替代者。 见scikit-learn 计算器
3. 使用年龄分类，而不是实际年龄。 通过这种方式，您可以首先创建一个分类器来预测年龄 bin，然后将其用作您的代码输入器。