使用 pandas/numpy 准时矢量化左连接

Question

我有两个数据框： x和y 。 我的目标是在x.timestamp介于 y min 和 max 之间的 x 上留下 join y（并计算这些出现次数）。

x.shape
(69593, 1)

x.head()
timestamp   count
4   2013-06-01 04:12:34 0
5   2013-06-01 04:19:08 0
6   2013-06-01 05:18:35 0
7   2013-06-01 06:00:19 0
8   2013-06-01 09:16:13 0

y.head()
min max
0   2013-06-02 09:10:51 2013-06-02 10:27:44
1   2013-06-12 03:08:35 2013-06-12 03:08:35
2   2013-08-03 09:11:35 2021-01-26 23:05:17

y.shape
(3, 2)

在这种情况下，在每行上使用 lambda function 可以正常工作，但是速度非常慢（将 3 行的表连接到约 70k 行的表需要 45 到 60 秒）。

%%time
x['count'] = \
    x.apply(lambda r: len(y.loc[(y['min']<=r['timestamp']) & (y['max']>=r['timestamp'])]), axis=1)

numpy中是否有一种方法可以对该连接进行矢量化，或者是否有其他建议可以使该连接运行得更快（低于 5 秒）？

Answer 1

对于一般的解决方案，也可以先使用交叉连接，然后按条件过滤行，最后使用Series.value_counts添加新列， Series.map计数匹配值：

df = x.assign(a=1).merge(y.assign(a=1), on='a')
s = df.loc[(df['min']<=df['timestamp']) & (df['max']>=df['timestamp']), 'timestamp']

x['count'] = x['timestamp'].map(s.value_counts()).fillna(0).astype(int)

Answer 2

x中的时间戳和y中的 min/max 之间没有重叠。 我不得不更改y dataframe 中的第一条记录：

>>> y
Out[124]: 
                  min                 max
0 2013-05-10 09:10:51 2013-06-02 10:27:44
1 2013-06-12 03:08:35 2013-06-12 03:08:35
2 2013-08-03 09:11:35 2021-01-26 23:05:17

但是当你确实有重叠时，你可以使用merge_asof()进行合并：

foo = pd.merge_asof(x, y, left_on='timestamp', right_on='min', direction='backward')
valid_idx = np.where(foo.timestamp >= foo['max'])[0]
new_cols = foo.loc[valid_idx, :]
foo = pd.merge(x, new_cols, left_index=True, right_index=True, suffixes=('_1', '_2'))