Python - 具有条件的不匹配 2 数据帧之间的频率表

Question

我的表包含大约 100k 个带有日期的唯一值，我有另一个表包含全年的 8M 记录我需要的是计算第一个表中的每个值在特定时间内在大表上重复了多少次（每行提到的日期后 30 天）

表 A：唯一值

数	时间	最大限度
1110	01-11-2022 上午 8:47:00	01-12-2022 上午 8:47:00
1111	02-11-2022 上午 8:47:00	02-12-2022 上午 8:47:00
1112	03-11-2022 上午 8:47:00	03-12-2022 上午 8:47:00

表 B：包含唯一值和重复值

num     time
1110    01-11-22 8:47
1110    02-11-22 8:47
1110    03-11-22 8:47
1111    02-11-22 8:47
1111    05-11-22 8:47
1111    06-12-22 8:47
1112    03-11-22 8:47
1112    08-12-22 8:47
1112    09-12-22 8:47
1122    09-12-22 8:47
1123    09-12-22 8:47
1534    09-12-22 8:47

我需要如下结果，稍后我需要自己获取原始数据，其中一个包括我正在寻找的值

num   Count
1110    3
1111    2
1112    1

我做了下面的操作，首先提取了我需要稍后计算的唯一值

import pandas as pd
    CREATED = pd.read_table(r'C:\Users\Desktop\2022.txt', sep=',',encoding='cp1256',low_memory=False)   
    Jan = CREATED[CREATED.Close_Month == 1]    
    Jan.sort_values(by=['customer','Time'])    
    janu= Jan.drop_duplicates(subset='customer', keep='first')    
    janu.to_csv(r'C:\Users\Desktop\Jan.csv',encoding='cp1256', index=None )

我尝试了下面的计数，但我不知道如何为日期间隔添加条件

1-

    janu['count'] = janu['num'].map(CREATED['num'].value_counts())

另一种方式

import pandas as pd
import datetime

A = pd.read_table(r'C:\Users\Ahmed\Desktop\1.csv',sep=',',encoding='cp1256',low_memory=False)
B = pd.read_table(r'C:\Users\Ahmed\Desktop\2.csv',sep=',',encoding='cp1256',low_memory=False)

for value in A['num']:
    x = B[B['num'] == value]
    print(x)

Answer 1

看完评论，这是我的答案。 据我了解， num列是user_id 。 time是“第一次”投诉的时间戳， max列是我们要查找的时间段的时间戳。 这个问题可以翻译成：

对于表A和表B中的每一个num ，统计表B中出现的num的出现次数，使得time列满足A.time <= B.time <= A.max 。 幸运的是， A.max距离A.time有 30 天

如果B表已经包含第一个投诉（所以A表是B表的子集），我们可以直接使用B表来检索我们需要的。 我在下面逐步描述。

我们要做的第一件事是将B的time列转换为datetime时间object，这将打开一个完整的datetime时间库以供使用。

B['time'] = pd.to_datetime(B['time'], format='%d-%m-%y %I:%M')

然后我们使用concat和groupby的组合表示：对于每个num ， select 只有time值在第time出现后 30 天内的行，即每个num的time的最小值。

pd.concat([
    df[df['time'] <= df['time'].min() + pd.offsets.Day(30)]
    for _, df in B.groupby('num')
])

我们通过使用.value_counts()得到了答案。 我在这里有代码来验证结果：

import pandas as pd
B = pd.DataFrame(
    [
        ['0001', '01-11-22 8:47'],  # this one satisfies
        ['0001', '02-11-22 8:47'],  # this one satisfies
        ['0001', '01-11-23 8:47'],  # this one does not satisfy
        ['0002', '02-11-22 8:47'],  # this one satisfies
    ],
    columns = ['num', 'time'])

B['time'] = pd.to_datetime(B['time'], format='%d-%m-%y %I:%M')
B_filtered = pd.concat([
    df[df['time'] <= df['time'].min() + pd.offsets.Day(30)]
    for _, df in B.groupby('num')
])
print(B_filtered)

它打印：

num  time
0001 2022-11-01 08:47:00
0001 2022-11-02 08:47:00
0002 2022-11-02 08:47:00

所以应用B_filtered['num'].value_counts()给出：

0001    2
0002    1