如何在不跳過 Pandas 中的 nan 值的情況下重新采樣

Question

我正在嘗試獲取具有 NaN 值的數據的 10 天聚合。 如果在 10 天持續時間內存在 NaN 值，則 10 天的總和應返回 nan 值。

當我應用以下代碼時，pandas 將 NaN 視為零並返回剩余天數的總和。

dateRange = pd.date_range(start_date, periods=len(data), freq='D')
# Creating a data frame so that the timeseries can handle numpy array.
df = pd.DataFrame(data)
base_Series = pd.DataFrame(list(df.values), index=dateRange)
# Converting to aggregated series
agg_series = base_Series.resample('10D', how='sum')
agg_data = agg_series.values 

樣本數據：

2011-06-01  46.520536
2011-06-02   8.988311
2011-06-03   0.133823
2011-06-04   0.274521
2011-06-05   1.283360
2011-06-06   2.556313
2011-06-07   0.027461
2011-06-08   0.001584
2011-06-09   0.079193
2011-06-10   2.389549
2011-06-11        NaN
2011-06-12   0.195844
2011-06-13   0.058720
2011-06-14   6.570925
2011-06-15   0.015107
2011-06-16   0.031066
2011-06-17   0.073008
2011-06-18   0.072198
2011-06-19   0.044534
2011-06-20   0.240080

輸出：

2011-06-01  62.254651
2011-06-11   7.301481

Answer 1

這將使用numpy sum，如果總和中包含nan，則將返回nan

In [35]: s = Series(randn(100),index=date_range('20130101',periods=100))

In [36]: s.iloc[11] = np.nan

In [37]: s.resample('10D',how=lambda x: x.values.sum())
Out[37]: 
2013-01-01    6.910729
2013-01-11         NaN
2013-01-21   -1.592541
2013-01-31   -2.013012
2013-02-10    1.129273
2013-02-20   -2.054807
2013-03-02    4.669622
2013-03-12    3.489225
2013-03-22    0.390786
2013-04-01   -0.005655
dtype: float64

Answer 2

為了過濾掉那些含有NaN的日子，我建議您

noNaN_days_only = s.groupby(lambda x: x.date).filter(lambda x: ~x.isnull().any()

其中s是一個DataFrame

Answer 3

只需應用 agg 函數：

agg_series = base_Series.resample('10D').agg(lambda x: np.nan if np.isnan(x).all() else np.sum(x) )