[英]adding values to pandas dataframe columns based on another dataframe
我有一个 dataframe 看起来像这样(df):
HOUSEID PERSONID WHY_TRP
20000017 1 1
20000017 1 1
20000017 1 1
20000017 2 1
20000017 2 3
20000231 1 11
20000231 1 11
20000231 2 11
20000521 1 11
20000521 2 11
20000521 2 3
每行描述一个人的一次旅行。 我还有另一个 dataframe ,其中每一行都描述了一个人(df_p):
HOUSEID PERSONID
20000017 1
20000017 2
20000231 1
20000231 2
20000521 1
20000521 2
我想在第二个 dataframe 中创建三个新列,以显示每个人的频率 1、3 和 11。 基本上我已经有了第二个 dataframe (df_p) 和其他功能,所以我不应该使用 groupby。 由于某种原因,第一个和第二个 dataframe 的人数不一样。 这就是为什么我需要下面的策略。 这是我尝试过的代码,但需要数小时才能完成(100 万次迭代):
df_p.insert(2, 'WHY_TRP_1', 0)
df_p.insert(3, 'WHY_TRP_2', 0)
df_p.insert(4, 'WHY_TRP_3', 0)
def trip_counter(i, r):
if r[2] == 1:
df_p.loc[(df_p['HOUSEID'] == r[0]) & (df_p['PERSONID'] == r[1]), ['WHY_TRP_1']] += 1
elif r[2] == 3:
df_p.loc[(df_p['HOUSEID'] == r[0]) & (df_p['PERSONID'] == r[1]), ['WHY_TRP_3']] += 1
elif r[2] == 11:
df_p.loc[(df_p['HOUSEID'] == r[0]) & (df_p['PERSONID'] == r[1]), ['WHY_TRP_11']] += 1
for i ,r in df.iterrows():
trip_counter(i ,r)
output:
HOUSEID PERSONID WHY_TRP_1 WHY_TRP_3 WHY_TRP_11
20000017 1 3 0 0
20000017 2 1 1 0
20000231 1 0 0 2
20000231 2 0 0 1
20000521 1 0 0 1
20000521 2 0 1 1
有没有更快的方法来做到这一点?
谢谢你
您可以通过在第一个 dataframe 上执行groupby
并WHY_TRP
来获得计数表,然后您可以将其合并到第二个:
counts = df.groupby(["HOUSEID", "PERSONID", "WHY_TRP"]).apply(len).unstack(fill_value=0)
counts.columns = counts.columns.map(lambda x: f"WHY_TRP_{x}")
counts
WHY_TRP WHY_TRP_1 WHY_TRP_3 WHY_TRP_11
HOUSEID PERSONID
20000017 1 3 0 0
2 1 1 0
20000231 1 0 0 2
2 0 0 1
20000521 1 0 0 1
2 0 1 1
df2.merge(counts, how="left", left_on=["HOUSEID", "PERSONID"], right_index=True)
HOUSEID PERSONID WHY_TRP_1 WHY_TRP_3 WHY_TRP_11
0 20000017 1 3 0 0
1 20000017 2 1 1 0
2 20000231 1 0 0 2
3 20000231 2 0 0 1
4 20000521 1 0 0 1
5 20000521 2 0 1 1
你也可以做一个pivot_table
然后merge
:
m = df.pivot_table(index=['HOUSEID','PERSONID'],
columns='WHY_TRP',aggfunc=len,fill_value=0)
out= df_p.merge(m.add_prefix('WHY_TRP'),left_on=['HOUSEID','PERSONID'],right_index=True)
print(out)
HOUSEID PERSONID WHY_TRP1 WHY_TRP3 WHY_TRP11
0 20000017 1 3 0 0
1 20000017 2 1 1 0
2 20000231 1 0 0 2
3 20000231 2 0 0 1
4 20000521 1 0 0 1
5 20000521 2 0 1 1
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.