如何处理数据仓库中包含略有不同值的重复ID的维度表？

Question

我正在我的公司构建数据仓库，我遇到了这样一种情况：我提取的数据名称略有不同，但绑定到相同的 ID。 这显然是一个问题，因为我的维度表每个 ID 应该只有一条记录

例如：

+======+===================+
|  id  |      name         |
+======+===================+
|  185 | AAAA              |
+------+-------------------+
|  185 | AAAB              |
+------+-------------------+
|  197 | XXXA              |
+------+-------------------+
|  197 | XXXB              |
+------+-------------------+
|  197 | XXXC              |
+------+-------------------+

如您所见，ID 字段应该与一个唯一值相关联，但有些字符串会有细微的变化，但与相同的 ID 相关联。 一个想法是标准化字符串，但我们会丢失一些元数据。 此外，我应该注意到我们使用的是 Redshift，这就是为什么没有强制执行唯一 id 约束。 这个问题的最佳解决方案是什么？

Answer 1

保留维度表中的最新名称并为“历史”创建一个辅助表，以防将来需要其他名称。 我在用户维度上遇到了类似的情况，并按照我描述的方式实现了。 您可以选择一个规则来决定哪个规则将出现在维度表中

以您的示例，这两个表将如下所示

dim table
+======+===================+
|  id  |      name         |
+======+===================+
|  185 | AAAB              |
+------+-------------------+
|  197 | XXXC              |
+------+-------------------+

dim_hist table

+======+========+=================+
|  id  | dim_id |    name         |
+======+======+===================+
|  101 | 185  | AAAA              |
+------+------+-------------------+
|  102 | 197  | XXXA              |
+------+------+-------------------+
|  103 | 197  | XXXB              |
+------+------+-------------------+

使用 id from dim table 您可以连接两个表并访问其他名称

Answer 2

我不知道这是否是最佳解决方案，但这是我们选择接受的解决方案。 本质上，我在维度表上执行自联接并添加一个列，该列选择每个 ID 的最短字符串。 由于通常每个值之间的变化是由于附加到基本字符串的数据造成的，最短的字符串应该返回基本字符串，这是我们正在寻找的字段中最重要的部分。

这是我为执行此操作而编写的 sql 代码：

create table tmp_dim_offers as (
  -- create subquery
  with normalized_dim_offers as (
      select
        t1.id_offer,
        t1.dim_offer_name,
        min(t2.dim_offer_name) as normalized_offer_name
      from dim_offers as t1
        join dim_offers as t2 on t1.id_offer = t2.id_offer
      group by 1, 2
      order by t1.id_offer
  )
  -- select distinct ids and normalized offer name
  select distinct
    normalized_dim_offers.id_offer              as id_offer,
    normalized_dim_offers.normalized_offer_name as dim_offer_name
  from normalized_dim_offers
  order by normalized_dim_offers.id_offer
);

-- drop existing dim_offers table and replace with new normalized table
begin;
alter table dim_offers rename to dim_offers_to_delete;
alter table tmp_dim_offers rename to dim_offers;
drop table dim_offers_to_delete cascade;
commit;

Answer 3

如何在维度表中添加一个新列并用 UUID 值填充它？ UUID 列充当主键。

此外，这也是我跟踪历史数据的方式。 我认为您的问题是有人随着时间的推移修改了源表中的记录。 通过使用 UUID 作为 pkey，我们不需要覆盖记录，因此我们可以随着时间的推移保持版本控制。