Spark SQL 相关标量子查询只能在过滤器/聚合/项目中使用

Question

我正在尝试在 Spark 结构化流中加入拖流数据。 数据结构如下：

表：持卡人

卡号	分配时间	受让人
1个	01/01/2023 01:00:00	用户 1
1个	01/01/2023 01:00:05	用户 2
1个	01/01/2023 01:00:10	用户 3

表：CardTransaction

卡号	交易时间	交易
1个	01/01/2023 01:00:00	事务 1
1个	01/01/2023 01:00:10	事务 2
1个	01/01/2023 01:00:03	事务 3
1个	01/01/2023 01:00:07	事务 4
1个	01/01/2023 01:00:12	事务 5

这两个数据应该加入到这个数据中：表：CardTransactionFlow

卡号	交易时间	交易	受让人
1个	01/01/2023 01:00:00	事务 1	用户 1
1个	01/01/2023 01:00:10	事务 2	用户 3
1个	01/01/2023 01:00:03	事务 3	用户 1
1个	01/01/2023 01:00:07	事务 4	用户 2
1个	01/01/2023 01:00:12	事务 5	用户 3

问题是CardTransaction表中的TransactionTime应该与CardHolder表中最新的AssignTime在 earch 交易记录的transactionTime之前匹配。 为了存档这个我尝试使用max(assignTime) function 但我无法让它工作。 Spark 抛出org.apache.spark.sql.AnalysisException: Correlated scalar sub-queries can only be used in a Filter/Aggregate/Project and a few commands: Join LeftOuter 。 日期列上设置了水印。

  select 
    holder.cardNo,
    trx.transactionTime,
    trx.transaction,
    holder.assignee,
    from transaction trx LEFT OUTER JOIN holder holder ON 
    trx.cardNo=holder.cardNo AND 
    holder.assignTime = (select max(assignTime) from holder 
        where trx.cardNo=cardNo AND assignTime <= trx.transactionTime) + interval 1 minute

任何帮助，将不胜感激。

Answer 1

试试这个 - 这应该有效（ 原因）如果需要请在查询中进行更正。 但是尝试使用 window function。

 SELECT holder.cardNo, trx.transactionTime, trx.transaction, holder.assignee, FROM CardTransaction trx LEFT OUTER JOIN ( SELECT cardNo, assignTime, assignee, row_number() OVER (PARTITION BY cardNo ORDER BY assignTime DESC) AS rn FROM CardHolder ) holder ON trx.cardNo = holder.cardNo AND rn = 1 AND trx.transactionTime >= holder.assignTime