是否有一种矢量化方法可以找到 2 个数据帧之间间隔的重叠？

Question

我有 2 个数据帧： df1, df2 。 例如，

df1:

id   start   end
1    0       15
1    15      30
1    30      45
2    0       15
2    15      30
2    30      45

df2 = 
id   start   end   
1    0       1.1    
1    1.1     11.4  
1    11.4    34    
1    34      46    
2    0       1.5   
2    1.5     20   
2    20      30    

对于df1中的每一行，我想在df2中找到满足df1.id == df2.id的行，并且两个区间[df1.start, df1.end]和[df2.start, df2.end] , df2.end] 之间存在重叠[df2.start, df2.end] 。 重叠由条件定义： df1.start <= df2.end AND df1.end > df2.start)

所以对于上面的结果应该是

[0, 1, 2]
[2]
[2, 3]
[4, 5]
[5, 6]
[6]

有没有矢量化的方法来做到这一点？

output 应该是长度为len(df1)的 dataframe（或其他结构），其中每一行都是df2中符合上述约束条件的索引。 df2比较大，在百万级，而df1是千分之一级，所以可能会有 memory 的顾虑。 从技术上讲，在移动到下一行之前我一次只需要处理一行，所以我不一定需要存储所有行，但是如果我一次处理一行可能会破坏向量化？

最终，我想使用 output 指数来计算权重平均值。 df2有第 4 列quantity ，我想计算其加权平均值，其中权重与重叠量成正比。 所以从技术上讲，我不需要存储重叠索引，但我认为 memory 问题仍然存在，因为它们会被隐式存储吗？

Answer 1

交叉合并id ， query感兴趣的行，然后groupby ：

(df1.reset_index().merge(df2.reset_index(), on='id', suffixes=['','_x'])
    .query('start < end_x & end > start_x')
    .groupby(['index'])['index_x'].agg(list)
)

Output：

index
0    [0, 1, 2]
1          [2]
2       [2, 3]
3       [4, 5]
4       [5, 6]
Name: index_x, dtype: object

注意：您的数据大小对于交叉合并来说是个问题。 在这种情况下，也许在df1中使用不同的id会好得多。 然后你可以解决多线程。

data = []
# isolate data:
for ID, d in df1.groupby('id'):
    overlaps = (d.reset_index().merge(df2.query('id == @ID').reset_index(),
                                      on='id', suffixes=['','_x'])
                 .query('start < end_x & end > start_x')
                 .groupby(['index'])['index_x'].agg(list)
               )
    data.append(overlaps)

pd.concat(data)

Output：

index
0    [0, 1, 2]
1          [2]
2       [2, 3]
3       [4, 5]
4       [5, 6]
Name: index_x, dtype: object

---

每条评论更新：

(df1.reset_index().merge(df2, on='id', suffixes=['','_x'])
    .assign(overlap=lambda x: x[['end','end_x']].min(axis=1) - x[['start','start_x']].max(axis=1))
    .query('overlap > 0')
    .groupby('index')['overlap'].mean()
)

Output：

index
0     5.0
1    15.0
2     7.5
3     7.5
4     7.5
Name: overlap, dtype: float64