ETL 与工作流管理以及应用哪个？ 它们可以一样使用吗？

Question

我正在为客户设置数据管道。 我花了很多年时间从事事物的分析，但现在我在一家只有生产环境的小商店工作。 我们做的第一件事是创建一个复制的生产实例，但我想应用一种数据仓库的心态来使分析部分更容易。

我的问题归结为使用什么工具？ 还有，为什么？ 我一直在寻找像 Talened for ETL 这样的解决方案，但也对 Airflow 非常感兴趣。 问题是我不太确定哪个更适合我的需求。 我想轻松监控和创建作业（我非常流利地编写 python，因此创建 Airflow 作业不是问题），但也能够在数据传入时对其进行转换。

任何建议都非常感谢

Answer 1

请考虑 talend 的开源（Talend Open Studio）不提供任何监控/调度功能。 它只是“代码生成器”。 更复杂的基础设施是企业版的一部分。

Answer 2

对于任何看到这一点的人。 四年后，我们所做的是利用 Airflow 进行调度，利用 Fivetran 和/或 Sticher 进行提取和加载，以及利用 dbt 进行转换。