[英]Pandas fillna by most recent date
我有一份關於給定主題的報告 dataframe。 每份報告都有一個分數,受試者在某些日期有分數,但在其他日期沒有分數。 我想創建一個新的 dataframe ,它只有每個主題的最新分數。 下面是一個 MRE。 原來的 dataframe 是這樣的:
Subject Rpt_date Score_1 Score_2
0 L. Skywalker 2020-12-01 9.0 NaN
1 L. Skywalker 2020-12-06 NaN 8.0
2 L. Skywalker 2021-01-11 7.0 NaN
3 H. Solo 2020-11-19 NaN 7.0
4 H. Solo 2020-12-15 NaN 5.0
5 H. Solo 2021-01-26 4.0 NaN
6 L. Organa 2020-11-20 6.0 NaN
7 L. Organa 2020-12-01 NaN 6.0
8 L. Organa 2020-12-19 NaN 7.0
9 D. Djarin 2020-12-10 NaN 10.0
10 D. Djarin 2020-12-12 10.0 NaN
11 D. Djarin 2021-01-03 NaN 10.0
所需的 output 如下所示:
Subject Score_1 Score_2
0 L. Skywalker 7.0 8.0
1 H. Solo 4.0 5.0
2 L. Organa 6.0 7.0
3 D. Djarin 10.0 10.0
我的 MRE 在技術上是可行的,但在大型 dataframe 中似乎很慢。
import pandas as pd
import numpy as np
def merge_latest(df, col):
df_temp = df.dropna(subset=[col]).copy()
df_temp['Last_rpt'] = df_temp.groupby('Subject')['Rpt_date'].transform('max')
df_temp.drop(df_temp.loc[df_temp['Rpt_date'] != df_temp['Last_rpt']]
.index, inplace=True)
d = dict(zip(df_temp['Subject'], df_temp[c]))
return d
df_data = {'Subject':['L. Skywalker', 'L. Skywalker', 'L. Skywalker',
'H. Solo', 'H. Solo', 'H. Solo',
'L. Organa', 'L. Organa', 'L. Organa',
'D. Djarin', 'D. Djarin', 'D. Djarin'],
'Rpt_date':['12/1/2020', '12/6/2020', '1/11/2021',
'11/19/2020', '12/15/2020', '1/26/2021',
'11/20/2020', '12/1/2020', '12/19/2020',
'12/10/2020', '12/12/2020', '1/3/2021'],
'Score_1':[9, np.nan, 7,
np.nan, np.nan, 4,
6, np.nan, np.nan,
np.nan, 10, np.nan],
'Score_2':[np.nan, 8, np.nan,
7, 5, np.nan,
np.nan, 6, 7,
10, np.nan, 10]}
df = pd.DataFrame(data=df_data)
df['Rpt_date'] = pd.to_datetime(df['Rpt_date'])
print(df)
fin_df = pd.DataFrame()
fin_df['Subject'] = df['Subject'].unique()
for c in ['Score_1', 'Score_2']:
merge_dict = merge_latest(df, c)
fin_df[c] = fin_df['Subject'].map(merge_dict)
print(fin_df)
首先使用報告日期排序,然后使用groupby.last()
。 該解決方案是矢量化的。
df['Rpt_date'] = pd.to_datetime(df['Rpt_date'])
fin_df = df.sort_values('Rpt_date').groupby('Subject', as_index=False).last()
Output
Subject Rpt_date Score_1 Score_2
0 D. Djarin 2021-01-03 10.0 10.0
1 H. Solo 2021-01-26 4.0 5.0
2 L. Organa 2020-12-19 6.0 7.0
3 L. Skywalker 2021-01-11 7.0 8.0
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.