[英]Quicker way to iterate over unique values in pandas?
我有一些 pandas 代碼,我試圖在一個大數據集上運行,盡管使用了應用程序,但它看起來本質上是在迭代和緩慢運行……歡迎提出建議!
我正在嘗試對我的數據進行分組。 每行都有一個非唯一的事件 ID,每個事件 ID 可以包含多個事件。 如果這些事件中的任何一個是特定類型,我希望具有該 ID 的每一行都有一個特定的標志——例如,這種類型的事件發生在這個 ID 中。 然后我想要導出僅包含 ID 的數據框,並使用該標志顯示事件是否發生在該 ID 中。
這是我正在使用的代碼:
no_duplicates = df.drop_duplicates(subset=["ID])
def add_to_clean(URN):
single_df = df[df["URN"] == URN].copy()
return single_df["Event_type"].sum() > 0
no_duplicates["Event_type"] = no_duplicates["ID"].swifter.apply(add_to_clean)
雖然我嘗試使用應用而不是循環,但它似乎仍然在遍歷整個代碼並花費很長時間。 關於如何提高效率的任何想法?
如果需要由聚合值填充的新列,請使用GroupBy.transform
而不是apply
+ join
,但transform
僅適用於一列Event_type
:
no_duplicates["Event_type"] = no_duplicates.groupby("URN").Event_type.transform('sum') > 0
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.