如何仅过滤包含给定标签列表中任何值的那些行

Question

数据框

我有这个数据框，其中包含与用户相关的用户 ID 和标签。 仅过滤掉那些标签包含此列表中任何一项的行的最佳方法是什么。 data_science = ['python', 'r', 'matlab', 'sas', 'excel', 'sql'] 我在 Pandas 中尝试了以下代码，它确实在一定程度上过滤掉了任何类似于列表的标签。 例如，对于 sql，它会抛出 sql-server。 你能提出更好的方法吗？

df_ds = df_combo[df_combo["Tag"].astype(str).str.contains('(python|excel|sql|matlab)', regex=True)]

Answer 1

我认为一种可能的更简单的方法，但也许冗长是这样的：

# create a set with the queried tags
tags = {'python', 'r', 'matlab', 'sas', 'excel', 'sql'}
# create an auxiliary column where all the tags are separated elements of a set 
df_combo['Tag-set'] = df_combo['Tag'].str.split(',').apply(lambda x: [e.strip() for e in x]).tolist() 
# use sets to check the intersection
df_combo['Tag-set'] = df_combo['Tag-set'].apply(set)
# filter the list
df_fd = df_combo[df_combo['Tag-set'].apply(lambda x: len(x & tags) > 0)]

这个想法是使用split和strip清理所有字符串，然后只保留那些交叉点至少有一个元素的字符串。