在哪里托管数据摄取 ETL？ 输入数据（csv 文件）自动从 Azure blob 存储到 Azure Posgresql

Question

我想做一项日常摄取工作，从 blob 存储中获取 CSV 文件并将其集成到 PostgreSQL 数据库中。 我有使用 python 的限制。 您建议我使用哪种解决方案来构建/托管我的 ETL 解决方案？

祝您有美好的一天:)附加信息： CSV 文件的大小和形状为 1.35 GB，(1292532, 54)。 我将仅将 54 列中的 12 列推送到数据库。

Answer 1

您可以尝试使用 Azure 数据工厂来实现这一点。 新的复制数据活动，源是您的 csv，接收器是 PostgreSQL 数据库。 在映射设置中，只需 select 您需要的列。 最后，创建一个计划触发器来运行它。