將值的 StandardScaler() 作為新列添加到 DataFrame 會返回部分 NaN

Question

我有一個熊貓數據幀：

df['total_price'].describe()

返回

count    24895.000000
mean       216.377369
std        161.246931
min          0.000000
25%        109.900000
50%        174.000000
75%        273.000000
max       1355.900000
Name: total_price, dtype: float64

當我對其應用preprocessing.StandardScaler()時：

x = df[['total_price']]
standard_scaler = preprocessing.StandardScaler()
x_scaled = standard_scaler.fit_transform(x)
df['new_col'] = pd.DataFrame(x_scaled)   

<y 具有標准化值的新列包含一些NaN ：

df[['total_price', 'new_col']].head()

    total_price new_col
0   241.95      0.158596
1   241.95      0.158596
2   241.95      0.158596
3   81.95      -0.833691
4   81.95      -0.833691

df[['total_price', 'new_col']].tail()

        total_price new_col
28167   264.0       NaN
28168   264.0       NaN
28176   94.0        NaN
28177   166.0       NaN
28178   166.0       NaN

這里出了什么問題？

Answer 1

數據框中的索引存在差距：

28167 
28168  
28176  
28177  
28178

當您調用pd.DataFrame(x_scaled)您正在創建一個新的連續索引，因此在將其作為原始數據幀中的一列進行分配時，許多行將不匹配。 您可以通過重置原始數據幀中的索引 ( df.reset_index() ) 或通過就地更新x ( x.update(x_scaled) ) 來解決此問題。