根据日期差异加入

Question

我有以下2个数据框：

客户	日期
一个	202001
一个	202002
一个	202105
乙	202203
乙	202001
C	202205
C	202207
C	202206

客户	日期
一个	202004
乙	202205

（真实数据框包含更多日期和客户）

我现在想向数据框 1 添加一列，根据以下条件计算为1或0 ：
1如果客户端在第二个数据帧中并且日期最多相隔 4 个月。
0否则

预期输出：

客户	日期	（健康）状况
一个	202001	1
一个	202002	1
一个	202105	0
乙	202203	1
乙	202001	0
C	202205	0
C	202205	0
C	202206	0

Answer 1

您可以首先在explode中创建sequence日期并将其分解。 然后加入。

数据框：

from pyspark.sql import functions as F

df1 = spark.createDataFrame(
    [('A', 202001),
     ('A', 202002),
     ('A', 202105),
     ('B', 202203),
     ('B', 202001),
     ('C', 202205),
     ('C', 202205),
     ('C', 202206)],
    ['client', 'Date'])
df2 = spark.createDataFrame(
    [('A', 202004),
     ('B', 202205)],
    ['client', 'Date'])

脚本：

df2 = df2.withColumn('Date', F.to_date('Date', 'yyyyMM'))
df2 = df2.withColumn('Date', F.explode(F.expr("sequence(add_months(Date, -4), add_months(Date, 4), interval 1 month)")))
df2 = df2.select('client', F.date_format('Date', 'yyyyMM').alias('Date'), F.lit(1).alias('condition'))

df_result = df1.join(df2, ['client', 'Date'], 'left') \
               .fillna(0, 'condition')

df_result.show()
# +------+------+---------+
# |client|  Date|condition|
# +------+------+---------+
# |     A|202002|        1|
# |     A|202001|        1|
# |     B|202203|        1|
# |     A|202105|        0|
# |     C|202206|        0|
# |     C|202205|        0|
# |     C|202205|        0|
# |     B|202001|        0|
# +------+------+---------+