創建數據倉庫

Question

目前，我們的團隊遇到了一個主要的數據庫管理/數據管理問題，其中正在構建數百個數據庫並將其用於次要/一次性應用程序，其中應用程序確實應該從現有數據庫中提取。

由於我們的安全性如此嚴格，這些權限系統的所有者將不允許其他人以一致的（應用必要的）速率從他們那里提取數據，而是允許單個應用程序每周進行一次提取，然后將數據提供給組織。

我被要求將所有這些公開可用的（每周快照）編譯到一個數據倉庫中，供最終用戶使用 go 到。 我們實際上是在談論 30-40 個數據庫，每個數據庫都有數十萬條記錄。

將其轉變為數據倉庫的最佳方法是什么？ 創建一個 SQL 服務器並將每個服務器視為服務器上自己的數據庫？ 至於我不太擔心的單個應用程序連接，我真的很想知道存儲所有數據以供消費的最佳做法是什么。

Answer 1

您所描述的更像是一個簡單的數據湖。 如果您被要求的只是一個讓現有數據保持原樣的地方，那么可以肯定的是，直接將所有 30-40 個數據庫拉到一個新服務器上就可以了。 需要注意的一件事是，如果他們正在創建Database Snapshots ，那么這些在這里將無濟於事。 使用實際的數據庫備份，很容易構建一個將這些備份復制並恢復到新服務器的過程。 這是假設所有來源都在 SQL 服務器上。

“數據倉庫”意味着除此之外的一定級別的組織，以促進跨多個來源的數據聚合報告。 通常，您會識別數據庫之間共享的任何概念，並為每個概念創建一個統一表，然后創建一個 ETL（提取、轉換、加載）過程來標准化來自每個源的數據並將其移動到這些統一表中。 這將是一個人建造的大型電梯。 您可以閱讀大量資源來幫助您入門——Ralph Kimball 的 The Data Warehouse Toolkit 是一本綜合指南。

無論哪種情況，您可能想要研究的工具是SSIS 。 它適用於跨服務器復制數據，並具有適用於多個不同 RDBMS 平台的驅動程序。 您可以從 SQL 代理安排 SSIS 包。 它還具有其他有助於數據倉庫的功能。