Python-将numpy数组作为列添加到具有不同长度的pandas数据帧

Question

我有一个多列的pandas dataframe df 。 列之一是Col1 ，其中包含浮点值或NaN：

df
+----+------+-----+
| No | Col1 | ... |
+----+------+-----+
| 12 |   10 | ... |
| 23 |  NaN | ... |
| 34 |    5 | ... |
| 45 |  NaN | ... |
| 54 |   22 | ... |
+----+------+-----+

我在Col1运行了一个函数，排除了像这样的缺失值（ NaN ）：

StandardScaler().fit_transform(df.loc[pd.notnull(df[Col1]), [Col1]])

想象一下结果是一个像这样的numpy.ndarray：

+-----+
| Ref |
+-----+
|   2 |
|   5 |
|   1 |
+-----+

请注意，此数组的长度与原始列Col1长度不同。

我需要一种将Ref列添加为df的解决方案。 对于Col1为NaN每一行，新列Ref也会获得NaN 。 所需的输出如下所示：

+----+------+-----+-----+
| No | Col1 | ... | Ref |
+----+------+-----+-----+
| 12 |   10 | ... |   2 |
| 23 |  NaN | ... | NaN |
| 34 |    5 | ... |   5 |
| 45 |  NaN | ... | NaN |
| 54 |   22 | ... |   1 |
+----+------+-----+-----+

Answer 1

我认为您可以分配给由相同布尔掩码过滤的新列：

from sklearn.preprocessing import StandardScaler

mask = df['Col1'].notnull()
df.loc[mask, 'Ref'] = StandardScaler().fit_transform(df.loc[mask, ['Col1']])
print (df)
   No  Col1       Ref
0  12  10.0 -0.327089
1  23   NaN       NaN
2  34   5.0 -1.027992
3  45   NaN       NaN
4  54  22.0  1.355081

详细说明 ：

print (StandardScaler().fit_transform(df.loc[mask, ['Col1']]))
[[-0.32708852]
 [-1.02799249]
 [ 1.35508101]]