如何使用 SQL 編寫基本 ETL，而不在每次 ETL 運行時截斷/加載？

Question

我有一個 OLTP 數據庫，我正在使用 SQL (ETL) 將其加載到另一個數據庫中。 為此，在第二個數據庫數據庫中，我根據事實和維度創建了星型模式 model。

技術：MS-SQL

事實：銷售

維度：客戶、客戶、代理

注意：源系統中沒有修改日期字段，源系統中可以刪除行。

我有一個每 15 分鍾運行一次的代理作業來執行以下操作： 對於每個表，我將 OLTP db 中的數據加載到各自的暫存表中（對於每個維度和事實表）。 然后將暫存的暗表合並到暗表中。 然后更新暫存事實表以包含維度的代理鍵。 然后使用合並將暫存事實表與事實表同步。 這是資源消耗，因為我必須在每次 etl 運行時將整個數據加載到臨時表中。 所以我正在尋找一種更好的方法 - 如果有人可以指出它是如何完成的，它將對我有所幫助。

Answer 1

這是資源消耗，因為我必須在每次 etl 運行時將整個數據加載到臨時表中

1. 在源上打開更改跟蹤或更改數據捕獲並僅提取更改的行

或者

2. 使用從源到臨時表的事務復制或使用Read-Scale Replica或Log Shipping在 DW 服務器上創建可讀副本。