[英]StopIteration issue in pandas dataframe with dictionary python
我有 100 萬條記錄的 3 列(DM1_ID、DM2_ID、對)pandas 數據框。此外,我有一個包含鍵和多個值的字典。 該函數檢查字典值並獲取鍵並將該鍵放入 new_ID 字段中。 函數對熊貓數據幀的一小部分工作正常,但是當我將它應用於整個數據幀時,它會給我“StopIteration”錯誤。
DM1_ID DM2_ID pairs
86503 11945.0 11945.0 [11945.0, 11945.0]
86504 11945.0 362380.0 [11945.0, 362380.0]
86505 11945.0 538395.0 [11945.0, 538395.0]
86506 538395.0 591587.0 [11945.0, 591587.0]
86507 11946.0 11946.0 [11946.0, 11946.0]
86508 362380.0 200589 [362380.0, 200589.0]
86509 564785.0 11946.0 [564785.0, 11946.0]
f = lambda x: next(k for k,v in jdic.items() if any(i in v for i in x))
jdic = {10045: [1, 6, 7,10045, 15, 45, 55, 80], 11945: [11945, 362380,20589, 10, 27, 538395, 591587], 3: [3, 21, 28, 32, 35], 11946: [11946, 39, 564785]}
largeFile13000['new_ID'] = largeFile13000['pairs'].apply(f)
largeFile13000.drop('pairs', axis=1, inplace=True)
largeFile13000.head()
# final result I'm expecting is
DM1_ID DM2_ID new_ID
86503 11945.0 11945.0 11945
86504 11945.0 362380.0 11945
86505 11945.0 538395.0 11945
86506 538395.0 591587.0 11945
86507 11946.0 11946.0 11946
86508 362380.0 200589 11945
86509 564785.0 11946.0 11946
# error
StopIteration Traceback (most recent call last)
<ipython-input-14-ddbcd19d6baa> in <module>
----> 1 largeFile13000['new_ID'] = largeFile13000['pairs'].apply(f)
2 largeFile13000.drop('pairs', axis=1, inplace=True)
3 largeFile13000.head()
c:\users\ravindu\appdata\local\programs\python\python37\lib\site-packages\pandas\core\series.py in apply(self, func, convert_dtype, args, **kwds)
3589 else:
3590 values = self.astype(object).values
-> 3591 mapped = lib.map_infer(values, f, convert=convert_dtype)
3592
3593 if len(mapped) and isinstance(mapped[0], Series):
pandas\_libs\lib.pyx in pandas._libs.lib.map_infer()
<ipython-input-12-b4ce01c34c30> in <lambda>(x)
----> 1 f = lambda x: next(k for k,v in jdic.items() if any(i in v for i in x))
StopIteration:
有沒有人可以幫我解決這個問題? 提前致謝。
從您的數據中,基本上您只需要查找一列,例如“DM1_ID”,因為相應的“DM2_ID”應該屬於 jdic 中的相同鍵。 在這種情況下,這很容易做到。 我只想顛倒你的字典。
jdic = {10045: [1, 6, 7,10045, 15, 45, 55, 80], 11945: [11945, 362380,20589, 10, 27, 538395, 591587], 3: [3, 21, 28, 32, 35], 11946: [11946, 39, 564785]}
ndic = {}
for key in jdic:
for i in jdic[key]:
ndic[i] = key
然后應用條件。
largeFile13000['new_ID'] = largeFile13000['DM1_ID'].apply(lambda x: ndic[x])
順便說一下,不知道你有沒有什么具體的理由來構造字典jdic。 對於這種顯然是多對一的關系,使用“多”方作為關鍵要好得多。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.