使用條件停止 BigQuery 腳本

Question

我正在運行一個 BigQuery 腳本來生成一個表。 該腳本假定存在另一個表，執行一些轉換，並將轉換后的數據放入 output 表中。 但是，如果輸入表不符合某些條件，我希望腳本終止執行（並可能發布消息）。 使用條件終止 BigQuery 腳本的最佳方式是什么？

Answer 1

要在沒有任何外部應用程序調用 BigQuery API 並執行需求檢查（這是一種更好的方式，更易於維護和發展）的情況下實現這一點，是創建一個計划查詢。 在這種情況下，它是為重復請求而設計的。 如果沒有，請用您喜歡的語言編寫代碼。

因此，使用 BigQuery 計划查詢，您可以執行查詢、定義目標表並定義通知渠道

設置所需的 PubSub 主題。 但是，此消息不是自定義的。 您將獲得最新執行的狀態和原因。 然后，您將需要深入了解查詢期間究竟發生了什么，並執行復雜的代碼來讀取日志並找到根本原因。

如果你的檢查想知道狀態 OK/KO，這個解決方案是合適的，如果不是，更喜歡你自己的代碼，你將有更好的錯誤管理粒度。