繁体 English 中英

如何在 ETL 管道中管理 id -> 名称映射

[英]How to manage id -> name mappings in an ETL pipeline

原文 2022-01-20 10:43:00 1 0 pandas/ postgresql/ database-design

在 ETL 管道中，有一个需要 IDS 的目标表是非常常见的。 例如employee_id，但传入的数据将在名称上编入索引。

我在 postgres 中有一个表，用于管理映射 | 员工编号 | 员工姓名 |

人们通常如何处理这个问题？

在我看来，有两种选择：

将 Postgres 中的数据加载到 python 转换脚本中并在那里交换 ID。
当我从临时表插入到目标表时，交换 ID 的名称。

什么是最佳实践？

0 个解决方案

Pandas ETL：如何轻松管理两个大表的列映射？

[英]Pandas ETL: How to manage column mapping of two large tables in a easy way?

LightFM 如何为新用户进行预测（冷启动）——用户 ID 8 不在用户 ID 映射中

[英]LightFM how to make predictions for new users (cold start) - user id 8 not in user id mappings

dtype 映射参数中的键只能使用列名

[英]Only a column name can be used for the key in a dtype mappings argument

如何为 dataframe 故障应用自定义 function 映射

[英]How to applying custom function mappings for dataframe failures

如何计算 dataframe 中每个名字的 ID

[英]How to count id's per name in a dataframe

如何使用气流编排简单的熊猫etl python脚本？

[英]How to use airflow for orchestrating simple pandas etl python scripts?

如何在ETL项目中使用python创建事实表

[英]How to create fact table using python in ETL project

如何管理熊猫的子图？

[英]How to manage subplots in Pandas?

Python 读取 *.csv。如何根据名称列创建 ID。如果名称相同，则重复 ID，否则使用新 ID

[英]Python reading *.csv. How to create ID's based on a name column. If name is the same, then repeat ID, else new ID

如何将数据框列对转换为单独的字典映射？

[英]How to convert dataframe column pairs to individual dictionary mappings?

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 Pandas ETL：如何轻松管理两个大表的列映射？ LightFM 如何为新用户进行预测（冷启动）——用户 ID 8 不在用户 ID 映射中 dtype 映射参数中的键只能使用列名如何为 dataframe 故障应用自定义 function 映射如何计算 dataframe 中每个名字的 ID 如何使用气流编排简单的熊猫etl python脚本？如何在ETL项目中使用python创建事实表如何管理熊猫的子图？ Python 读取 *.csv。如何根据名称列创建 ID。如果名称相同，则重复 ID，否则使用新 ID 如何将数据框列对转换为单独的字典映射？

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM