[英]Selecting csv row with the highest column value among rows with the same value of another column in python
我使用潜在狄利克雷分配为 5000 多个 txt 文档创建了一个包含 20 个主题的主题模型。 我现在有一个 .csv 文件,其中包含三列:文档编号、主题编号和文档中主题的概率。 它看起来像这样(对于文档 n°1 和 n°2):
1 1 0,113
1 4 0,2
1 7 0,156
1 17 0,065
1 18 0,463
2 1 0,44
2 6 0,207
2 14 0,103
2 16 0,126
2 17 0,015
2 18 0,106
基本上,我想知道某个主题的文档列表,其中该主题的概率最高。
我想我必须执行以下操作:
1) 为第 1 列中的每个相同值(称为doc_number )获取第 3 列中的最高值(称为highest_prob )。
2)对于每个获取的doc_number (应该和文档一样多),在第2列中获取相应的主题编号(称为topic_number )。
3) 返回与我感兴趣的特定topic_number关联的doc_number列表。
我对 python 比较陌生,不知道如何继续,无论是使用 csv 包还是使用熊猫...
你可以先replace
,
对.
在列probability
并按astype
转换为float
。 然后groupby
柱document_number
并获得index
列的最大值的probability
与idxmax
。 最后通过loc
获取所有记录:
import pandas as pd
df = pd.DataFrame({'document_number': {0: 1, 1: 1, 2: 1, 3: 1, 4: 1, 5: 2, 6: 2, 7: 2, 8: 2, 9: 2, 10: 2},
'probability': {0: '0,113', 1: '0,2', 2: '0,156', 3: '0,065', 4: '0,463', 5: '0,44', 6: '0,207', 7: '0,103', 8: '0,126', 9: '0,015', 10: '0,106'},
'topic_number': {0: 1, 1: 4, 2: 7, 3: 17, 4: 18, 5: 1, 6: 6, 7: 14, 8: 16, 9: 17, 10: 18}},
columns = ['document_number','topic_number','probability'])
print (df)
document_number topic_number probability
0 1 1 0,113
1 1 4 0,2
2 1 7 0,156
3 1 17 0,065
4 1 18 0,463
5 2 1 0,44
6 2 6 0,207
7 2 14 0,103
8 2 16 0,126
9 2 17 0,015
10 2 18 0,106
df['probability'] = df.probability.str.replace(',','.').astype(float)
print (df.groupby('document_number')['probability'].idxmax())
1 4
2 5
Name: probability, dtype: int64
print (df.loc[df.groupby('document_number')['probability'].idxmax()])
document_number topic_number probability
4 1 18 0.463
5 2 1 0.440
最后set_index
从列document_number
转换为to_dict
列topic_number
:
print (df.loc[df.groupby('document_number')['probability'].idxmax()]
.set_index('document_number')['topic_number'])
document_number
1 18
2 1
Name: topic_number, dtype: int64
print (df.loc[df.groupby('document_number')['probability'].idxmax()]
.set_index('document_number')['topic_number'].to_dict())
{1: 18, 2: 1}
另一种解决方案第一sort_values
通过柱probability
,然后groupby
与聚合first
:
print (df.sort_values(by="probability", ascending=False)
.groupby('document_number', as_index=False)
.first())
document_number topic_number probability
0 1 18 0.463
1 2 1 0.440
print (df.sort_values(by="probability", ascending=False)
.groupby('document_number', as_index=False)
.first().set_index('document_number')['topic_number'])
document_number
1 18
2 1
Name: topic_number, dtype: int64
print (df.sort_values(by="probability", ascending=False)
.groupby('document_number', as_index=False)
.first().set_index('document_number')['topic_number'].to_dict())
{1: 18, 2: 1}
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.