![](/img/trans.png)
[英]How to create a dictionary with two dataframe columns in pyspark?
[英]How to create a dictionary of two pandas DataFrame columns
組織以下 pandas Dataframe 的最有效方法是什么:
數據=
Position Letter
1 a
2 b
3 c
4 d
5 e
像alphabet[1: 'a', 2: 'b', 3: 'c', 4: 'd', 5: 'e']
這樣的字典?
In [9]: pd.Series(df.Letter.values,index=df.Position).to_dict()
Out[9]: {1: 'a', 2: 'b', 3: 'c', 4: 'd', 5: 'e'}
速度比較(使用Wouter方法)
In [6]: df = pd.DataFrame(randint(0,10,10000).reshape(5000,2),columns=list('AB'))
In [7]: %timeit dict(zip(df.A,df.B))
1000 loops, best of 3: 1.27 ms per loop
In [8]: %timeit pd.Series(df.A.values,index=df.B).to_dict()
1000 loops, best of 3: 987 us per loop
我找到了一種更快的方法來解決該問題,至少在實際的大型數據集上使用df.set_index(KEY).to_dict()[VALUE]
50,000行的證明:
df = pd.DataFrame(np.random.randint(32, 120, 100000).reshape(50000,2),columns=list('AB'))
df['A'] = df['A'].apply(chr)
%timeit dict(zip(df.A,df.B))
%timeit pd.Series(df.A.values,index=df.B).to_dict()
%timeit df.set_index('A').to_dict()['B']
輸出:
100 loops, best of 3: 7.04 ms per loop # WouterOvermeire
100 loops, best of 3: 9.83 ms per loop # Jeff
100 loops, best of 3: 4.28 ms per loop # Kikohs (me)
dict (zip(data['position'], data['letter']))
這會給你:
{1: 'a', 2: 'b', 3: 'c', 4: 'd', 5: 'e'}
>>> import pandas as pd
>>> df = pd.DataFrame({'Position':[1,2,3,4,5], 'Letter':['a', 'b', 'c', 'd', 'e']})
>>> dict(sorted(df.values.tolist())) # Sort of sorted...
{'a': 1, 'b': 2, 'c': 3, 'd': 4, 'e': 5}
>>> from collections import OrderedDict
>>> OrderedDict(df.values.tolist())
OrderedDict([('a', 1), ('b', 2), ('c', 3), ('d', 4), ('e', 5)])
解釋解決方案: dict(sorted(df.values.tolist()))
鑒於:
df = pd.DataFrame({'Position':[1,2,3,4,5], 'Letter':['a', 'b', 'c', 'd', 'e']})
[出]:
Letter Position
0 a 1
1 b 2
2 c 3
3 d 4
4 e 5
嘗試:
# Get the values out to a 2-D numpy array,
df.values
[出]:
array([['a', 1],
['b', 2],
['c', 3],
['d', 4],
['e', 5]], dtype=object)
然后(可選):
# Dump it into a list so that you can sort it using `sorted()`
sorted(df.values.tolist()) # Sort by key
要么:
# Sort by value:
from operator import itemgetter
sorted(df.values.tolist(), key=itemgetter(1))
[出]:
[['a', 1], ['b', 2], ['c', 3], ['d', 4], ['e', 5]]
最后,將2個元素的列表轉換成字典。
dict(sorted(df.values.tolist()))
[出]:
{'a': 1, 'b': 2, 'c': 3, 'd': 4, 'e': 5}
回答@sbradbio評論:
如果一個特定鍵有多個值,並且您希望保留所有值,那么這不是最有效,但最直觀的方法是:
from collections import defaultdict
import pandas as pd
multivalue_dict = defaultdict(list)
df = pd.DataFrame({'Position':[1,2,4,4,4], 'Letter':['a', 'b', 'd', 'e', 'f']})
for idx,row in df.iterrows():
multivalue_dict[row['Position']].append(row['Letter'])
[出]:
>>> print(multivalue_dict)
defaultdict(list, {1: ['a'], 2: ['b'], 4: ['d', 'e', 'f']})
在Python 3.6中,最快的方法仍然是WouterOvermeire。 Kikohs的提議比其他兩個方案要慢。
import timeit
setup = '''
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randint(32, 120, 100000).reshape(50000,2),columns=list('AB'))
df['A'] = df['A'].apply(chr)
'''
timeit.Timer('dict(zip(df.A,df.B))', setup=setup).repeat(7,500)
timeit.Timer('pd.Series(df.A.values,index=df.B).to_dict()', setup=setup).repeat(7,500)
timeit.Timer('df.set_index("A").to_dict()["B"]', setup=setup).repeat(7,500)
結果:
1.1214002349999777 s # WouterOvermeire
1.1922008498571748 s # Jeff
1.7034366211428602 s # Kikohs
我喜歡 Wouter 方法,但是具有重復值的行為可能不是預期的,不幸的是,OP 沒有以一種或另一種方式討論這種情況。 Wouter,將始終為遇到的每個鍵選擇最后一個值。 所以換句話說,它將不斷覆蓋每個鍵的值。
在我看來,預期的行為更像是使用 dataframe 中的兩列創建字典,其中一列中有重復項,其中為每個鍵保留一個列表。
因此,對於保留重復項的情況,讓我提交df.groupby('Position')['Letter'].apply(list).to_dict()
(或者甚至可能是一組而不是列表)
以下是使用以下 df 測試的另外兩種方法。
df = pd.DataFrame(np.random.randint(0,10,10000).reshape(5000,2),columns=list('AB'))
使用to_records()
dict(df.to_records(index=False))
使用MultiIndex.from_frame()
dict(pd.MultiIndex.from_frame(df))
每個的時間。
24.6 ms ± 847 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)
1.86 ms ± 11.6 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.