我有一个关于在 InvoiceLineFact 表中加载发票 header 和行数据的最佳实践的问题。 我遵循 Kimball 的建议,我将 header 的所有维度都归结为如图所示的行项目: 对于数据提取部分,我们使用在我们的 DWH SQL 服务器上创建的存储过程,这些过程通过作业按顺序自动执 ...
我有一个关于在 InvoiceLineFact 表中加载发票 header 和行数据的最佳实践的问题。 我遵循 Kimball 的建议,我将 header 的所有维度都归结为如图所示的行项目: 对于数据提取部分,我们使用在我们的 DWH SQL 服务器上创建的存储过程,这些过程通过作业按顺序自动执 ...
我需要为 SQL 服务器中的几个字段组合生成一个 ID 字段。 让我给你举个例子。 我有一张如下表 牌所有者资源 Pip 人们在线的鞭子人们在线的 Pip 人们离线 zip 恶魔在线的撕裂僵尸在线的蘸鬼魂在线的我需要为不同的 BrandName 和 Owner 组合派生 BrandID(不管它们的来 ...
目前我们的数据库托管在其他数据库中。 我们正在考虑使用 JDBC 连接器在 SPARK 中执行该过程。 连接数据源后是否可以使用 SPARK.SQL 语句,还是必须将数据加载到 hive 才能使用 spark.sql 查询? ...
我有两个源表: Ext_Agreements ABS_协议 两者都有相同的列:“每个表都有不同的数据,这只是一个例子” 我想将它们合并到目标数据库中的一个表中,同时通过基于协议的源表添加包含“Ext”或“ABS”的列“AGREEMENT_TYPE”来维护协议类型的信息。 目标表 ...
我遇到了一个数据仓库练习题。 我试图想出各种方法来设计它,但我不确定最佳实践是什么。 该问题涉及为停车场设计数据仓库并编写 SQL 查询以获取停车费。 约束如下: 工作日每小时费率 两轮车 - 1 美元 四轮车 - 2 美元 周末每小时费率 两轮车 - 2 美元 四轮车 - 3 美元 周五早上 ...
我有一个名为 AWARENESS_MEETINGS 的表,其名称和会议日期作为属性,它与数据库中的任何其他表无关。 我正在设计一个数据仓库 model,我无法将它放入 model 它只与日期维度相关,我无法确定它是事实表还是维度表,与表相关的唯一业务问题是计数AWARENESS_MEETINGS ...
我有一个价格表表,其中指定了特定时间段内某个国家/地区的商品价格。 我的表格的问题是,同一国家/地区的同一商品有重叠的价目表。 我想要的是 select 具有最新有效起始日期的重叠价目表。 查看下面突出显示的行的图片将是 7 个示例行中所需的最终结果: 数据样本: 我试过的: OUTPUT: ...
我们正在对数据仓库中的目标表执行初始负载测试和增量负载测试。 那么我们是在初始负载测试中验证审计字段值还是在增量负载测试中验证审计字段值? 作为测试的一部分,我们验证审计字段值 ...
Azure Synapse 专用 SQL 池中是否有可用于“ sp_refreshview ”的等效项? 当我尝试时,它显示以下错误。 由于视图不会自动更新,除了“ALTER VIEW”方法之外,Azure Synapse Analytics 的专用 SQL 池中是否还有其他可用的命令或系统 ...
我有一个平面文件资源,这些资源被提取到事实和维度中。 一些维度也来自数据库资源。 转换过程是根据需要设置的(如果有新的/更新的平面文件)。 问题是,某些数据引用不存在或基于数据库资源的维度不匹配,因此事实的外键 id 值设置为默认值(如果没有匹配数据,则为零)。 如果所述维度(数据库资源)已更新,我 ...
有一个困扰我一段时间的问题。 在 ETL 过程中,如何用代理键替换主键? 就像工作流程一样 - 它只是分配新的身份吗? 如果是这样,以前的值如何,如何用新创建的业务键替换现有的业务键? 在我看来,一个特定的工作流程如下所示,但我还没有在实践中完成它: 删除 DimProduct 和 FactSal ...
我试图理解完整表、增量表和增量表的概念,原则上为了简化(更快的加载过程)每日 ETL 负载是使用增量表的好习惯满桌增量表增量表我读过一些地方使用增量负载移动数据可以缩短 ETL 流程的运行时间并降低出现问题时的风险有人可以帮我理解这个概念吗? ...
有? 在我的数据列中,我必须用 NULL 替换它们。 在我的 SSIS package 中。 ...
为什么在距离和 air_time 列中使用 sum 时,此代码显示无效标识符? 当 sum 未成功使用此语句处理但使用 sum 我得到错误? 我需要在这个语句中使用 sum。 ...
假设有一个场景,有一个数据加载到事实表\\维表的过程,经过分析发现有1亿条记录被错误加载,我需要执行哪些步骤才能正确清理数据。 ...
我们在 Oracle 服务器上有 N 个表,我们想将所有这些表从 Oracle 加载到 SQL 服务器。 我们正在为其创建动态 SSIS 包,它将采用 Oracle ServerName、DB 名称、模式名称、表列表等,并将所有这些表加载到 SQL 服务器。 我们在 SQL Server (SSMS ...
我的数据库中有一个维度表变得太大了。 我的意思是它有太多的记录——超过一百万——因为它的增长速度与相关事实相同。 这主要是由于糟糕的设计,我正在努力清理它。 我尝试做的一件事是删除不再使用的维度记录。 事实表会定期维护并删除旧快照。 因为维度不是这样维护的,表中有很多行的主键值不再出现在任何链接的 ...
我可以每 30 分钟跟踪或获取一份报告,以按用户 ID 汇总 AZureSQlDW 的 tempdb 使用情况吗? 任何建议都非常感谢谢谢,切瑞斯玛。 ...
设想: 是源表SourceData (Name, Number, Date) 是否存在表ProdData (ProdName、ProdNumber、CreatedDate) 要求: 如果生产数据中已经存在,请不要从源导入!!! 将行从源导入到生产数据,保留现有行,附加新行,映射列,如: ...
我有一个包含多个 SAP 数据表和一个 SQL 语句的 SQL 数据库,如下所示: SELECT DISTINCT AFKO.PLNBEZ AS 'Material', MAKT.MAKTX AS 'Material Number', AFKO.AUFNR AS 'Order', AFVC.VO ...