在 PySpark 中使用 between 进行日期过滤

Question

我有一个带有日期列的 Spark 数据框。 “date1col”的最后一个条目是今天，“date2col”的最后一个条目是 10 天前。 我需要过滤过去两周到昨天的日期。

我使用df.filter(col('date1col').between(current_date()-1,current_date()-15) ，效果很好。但是，当我对第二个日期列使用相同的语法时，即： df.filter(col('date2col').between(current_date()-1,current_date()-15) ，它返回一个空的sdf。当我使用df.filter(col('startdate')>current_date()-15) , 它起作用了。但是我的数据框是动态的，这意味着它每天早上 9 点更新。如何强制between函数返回相同的 sdf，就像我使用>逻辑一样？

Answer 1

切换顺序：
第一个较早的日期
次日

df.filter(col('date2col').between(current_date()-15, current_date()-1))

它们不一样，可以用sameSemantics来证明

df1 = df.filter(col('date2col').between(current_date()-15, current_date()-1))
df2 = df.filter(col('date2col').between(current_date()-1, current_date()-15))
df1.sameSemantics(df2)
# False

---

如果您仍然需要 - .between转换为“<>”逻辑：

df.filter(col('date2col').between(current_date()-15, current_date()-1))
=
df.filter((col('date2col') >= current_date()-15) & (col('date2col') <= current_date()-1))

df1 = df.filter(col('date2col').between(current_date()-15, current_date()-1))
df2 = df.filter((col('date2col') >= current_date()-15) & (col('date2col') <= current_date()-1))

print(df1.sameSemantics(df2)) # `True` when the logical query plans are equal, thus same results
# True

---

"<>" 翻译成.between

df.filter(col('date2col') > current_date()-15)
= df.filter(col('date2col').between(current_date()-14, '9999'))

sameSemantics结果显然是False ，但对于任何实际情况，结果都是相同的。