事實表核對或驗證

Question

在數據倉庫項目中，我如何驗證通過 SSIS ETL 加載在數據倉庫 DB 中加載的事實表與我的暫存表是否正確，以便以后我不會有不正確的報告？

Answer 1

好問題，人們為此創建了不同的系統。 所以你明白這是開發人員構建的最復雜的檢查/對帳過程之一。 我試圖給你三種方法來做到這一點。 我會推薦第一個，因為它更容易和最有效。

你可以 -

1. 加載后報告：創建將在加載后協調數據的報告。 編寫 SQL 來比較源數據和目標數據 - 比較計數、比較數量、比較空值、比較每日數據等。如果比較生成標志/警報 - 這意味着加載中存在一些問題。
2. 隨時檢查：您可以創建一些可重用的函數或映射來比較傳入的源數據和目標數據 - 比較計數、比較數量、比較空值、比較每日數據等並存儲在表中。 腳本將繼續檢查這些值，如果有任何問題，腳本將通知支持團隊。
3. 預處理檢查：在開始任何 ETL 之前，您可以檢查源數據 - 如計數、空值、每日計數等，以驗證數據如何，是否有任何文件丟失等。