BigQuery：UNNEST（）上的LAG（）

Question

我一直在使用LAG()从ARRAY of STRUCT的ARRAY of STRUCT的前一行返回一个值，而UNNEST似乎不支持LAG/LEAD类的导航窗口函数。

听起来不是很理想，但是您需要全部UNNEST和（重新） PARTITION BY ！

例如，说您要上一行的金额：

编辑 ：模式详细信息：

发票架构： docID STRING, lines STRUCT<lineID STRING, amount NUMERIC>

预期的输出： docID STRING, lines STRUCT<lineID STRING, amount NUMERIC, prev_amount NUMERIC>

SELECT 
   docID, lineID, amount
   ,LAG(amount) OVER (PARTITION BY docID ORDER by lineID) prev_amount
FROM invoices, UNNEST(lines)

这很慢。 我希望我们可以通过某种方式将ARRAY作为窗口框架使用。

还有其他选择吗？ 我正在使用BigQuery但这可能适用于其他DBMS。

更新 ：我想出了以下使用WITH OFFSET替代方案。 更快，也许这就是OFFSET的用途，这很丑陋，在我看来可能更简单。

SELECT 
   docID, lineID, amount
   ,(SELECT amount FROM UNNEST(lines) WITH OFFSET AS pos2 WHERE pos2 = pos - 1) prev_amount
FROM invoices, UNNEST(lines) WITH OFFSET AS pos

Answer 1

下面显示了更好的性能（至少是我为了快速测试而运行的数量很少）。 另外执行计划看起来更好（至少对我而言）

#standardSQL
SELECT 
   lines[OFFSET(pos)].*, lines[SAFE_OFFSET(pos - 1)].amount prev_amount
FROM invoices, UNNEST(GENERATE_ARRAY(0, ARRAY_LENGTH(lines) - 1)) pos

注意：我假设遵循以下架构[STRUCT<docID INT64, lineID INT64, amount FLOAT64>] lines

更新：进行调整以匹配您刚提供的真实架构

#standardSQL
SELECT docID, ARRAY(
    SELECT AS STRUCT 
      lines[OFFSET(pos)].*, 
      lines[SAFE_OFFSET(pos - 1)].amount prev_amount 
    FROM UNNEST(GENERATE_ARRAY(0, ARRAY_LENGTH(lines) - 1)) pos
    ) lines
FROM invoices

Answer 2

在Mikhail答案的替代方案下面，改用WITH OFFSET效果更好（55s与170s，超过5000万行）

#standardSQL
SELECT docID, ARRAY(
    SELECT AS STRUCT 
      l.*, 
      lines[SAFE_OFFSET(pos - 1)].amount prev_amount 
    FROM UNNEST(lines) l WITH OFFSET pos
    ) lines
FROM invoices

注意：如果将ORDER BY或WHERE子句添加到更改原始索引的取消嵌套中，则此操作将无法按原样工作。

这是我的用例，如果在过滤后的数组中进行相对定位之后，应该先使用子查询来创建过滤后的数组，然后在外部查询中使用UNNEST WITH OFFSET + OFFSET/ORDINAL组合。