Pandas - 检查列中的值是否是同一列中另一个值的 substring

Question

我正在尝试编写一个脚本来检查 DataFrame 的列，每个值不是另一个值的 substring，并且不等于不同的列。 我编写了一个代码，它遍历 iterrows 并为每一行返回其他 substring 值。 一个例子：

df = pd.DataFrame({'names': ['Bob', 'Sam', 'Tom', 'Bob'], 'value': ['abc', 'ab', 'de', 'ab']})
>>> df
  names value
0   Bob   abc
1   Sam    ab
2   Tom    de
3   Bob    ab

substring_df = pd.DataFrame(columns=df.columns)
for index, row in df.iterrows():
            value = row["value"]
            name = row["names"]
            delta = df[df['value'].str.contains(value) & df['names'] == name]
            if(len(delta.index) > 1):
                    substring_df = pd.concat([substring_df, delta])
>>> substring_df
  names value
0   Bob   abc
3   Bob    ab

此代码工作正常，但对于大量数据来说非常慢。 在包含 10,000 行的 DataFrame 上运行它需要 2 分钟才能返回，我需要在更大的数据上运行它。

关于如何使这段代码更高效的任何想法？

Answer 1

将GroupBy.transform与生成器一起使用，以通过boolean indexing找到具有in和过滤组的子字符串：

df = pd.DataFrame({"names": ["Bob", "Bob", "Bob", "Alice"], "value": ["abc", "ab", "d", "a"]}) 
print (df)
   names value
0    Bob   abc
1    Bob    ab
2    Bob     d
3  Alice     a

f = lambda x: x.isin([w for y in x for z in x if z != y and z in y for w in (z, y)])

df = df[df.groupby('names')['value'].transform(f)]
print (df)
  names value
0   Bob   abc
1   Bob    ab