關系數據庫設計模式問題-大規模只讀數據庫
[英]Relational database design pattern question - Massive Read Only database
問題描述
建立數據庫要從大約500個不同的源導入數據時，我面臨着一個有趣的挑戰。
每個源都有其自己的架構，許多非常不同。 但是，它們都是有關公共實體的數據。
我的第一個想法是典型的實體/屬性/值架構，但是在將來自一個源（55萬行）的非規范化導入轉換為AEV之后，我在Attribute_Value表中最終得到了3600萬行。 有了合適的索引，這仍然非常快，但是到目前為止，這只是500個進口來源中的一個。
我認為這不會擴展，但是確實可以很好地進行邏輯分區，我們不需要跨導入源進行聯接，因此我們可以（理論上）構建50個左右的獨立數據庫。
我正在尋找使用大量數據源的人員，以及他們在數億行中如何處理事務的經驗。
2 個解決方案
解決方案1
2 2009-05-11 19:36:57
您考慮過OLAP解決方案嗎？ 它們可能是針對像您這樣的情況設計的。 讀取和分析大量數據。
解決方案2
2 2009-05-11 19:50:27
我有十億多行表，行數不像碎片級別和表本身的寬度那么關鍵，表越寬，您可以容納的頁面就越少
在OLAP / SSAS旁邊您是否看過使用分區功能（SQL Server 2005中的新增功能）
你也可以利用頁和行級壓縮（新的SQL Server 2008），這將幫助您存儲更多的數據到內存中，我做了我與壓縮自己的測試，看看這個鏈接，看看它是如何比較，無壓縮的快速查看SQL 2008中的壓縮
關系數據庫中自定義字段的設計模式
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.