BigQuery：UNNEST（）上的LAG（）

Question

我一直在使用LAG()從ARRAY of STRUCT的ARRAY of STRUCT的前一行返回一個值，而UNNEST似乎不支持LAG/LEAD類的導航窗口函數。

聽起來不是很理想，但是您需要全部UNNEST和（重新） PARTITION BY ！

例如，說您要上一行的金額：

編輯 ：模式詳細信息：

發票架構： docID STRING, lines STRUCT<lineID STRING, amount NUMERIC>

預期的輸出： docID STRING, lines STRUCT<lineID STRING, amount NUMERIC, prev_amount NUMERIC>

SELECT 
   docID, lineID, amount
   ,LAG(amount) OVER (PARTITION BY docID ORDER by lineID) prev_amount
FROM invoices, UNNEST(lines)

這很慢。 我希望我們可以通過某種方式將ARRAY作為窗口框架使用。

還有其他選擇嗎？ 我正在使用BigQuery但這可能適用於其他DBMS。

更新 ：我想出了以下使用WITH OFFSET替代方案。 更快，也許這就是OFFSET的用途，這很丑陋，在我看來可能更簡單。

SELECT 
   docID, lineID, amount
   ,(SELECT amount FROM UNNEST(lines) WITH OFFSET AS pos2 WHERE pos2 = pos - 1) prev_amount
FROM invoices, UNNEST(lines) WITH OFFSET AS pos

Answer 1

下面顯示了更好的性能（至少是我為了快速測試而運行的數量很少）。 另外執行計划看起來更好（至少對我而言）

#standardSQL
SELECT 
   lines[OFFSET(pos)].*, lines[SAFE_OFFSET(pos - 1)].amount prev_amount
FROM invoices, UNNEST(GENERATE_ARRAY(0, ARRAY_LENGTH(lines) - 1)) pos

注意：我假設遵循以下架構[STRUCT<docID INT64, lineID INT64, amount FLOAT64>] lines

更新：進行調整以匹配您剛提供的真實架構

#standardSQL
SELECT docID, ARRAY(
    SELECT AS STRUCT 
      lines[OFFSET(pos)].*, 
      lines[SAFE_OFFSET(pos - 1)].amount prev_amount 
    FROM UNNEST(GENERATE_ARRAY(0, ARRAY_LENGTH(lines) - 1)) pos
    ) lines
FROM invoices

Answer 2

在Mikhail答案的替代方案下面，改用WITH OFFSET效果更好（55s與170s，超過5000萬行）

#standardSQL
SELECT docID, ARRAY(
    SELECT AS STRUCT 
      l.*, 
      lines[SAFE_OFFSET(pos - 1)].amount prev_amount 
    FROM UNNEST(lines) l WITH OFFSET pos
    ) lines
FROM invoices

注意：如果將ORDER BY或WHERE子句添加到更改原始索引的取消嵌套中，則此操作將無法按原樣工作。

這是我的用例，如果在過濾后的數組中進行相對定位之后，應該先使用子查詢來創建過濾后的數組，然后在外部查詢中使用UNNEST WITH OFFSET + OFFSET/ORDINAL組合。