Azure 数据工厂与 Azure 逻辑应用程序

Question

尝试自学一些 ETL 技能并需要一些帮助以最佳方式完成某些任务。 我正在尝试将数据从我们的客户服务平台 - Freshdesk - 引入我们的 SQL 数据仓库。 我们是一家微软公司，我使用 Microsoft Azure 数据工厂和 Microsoft 逻辑应用程序完成了一些类似的任务。 逻辑应用程序很少/没有代码，而且更直观一些，所以我现在正在尝试使用它。 但是，我觉得数据工厂可能是最有效的方法（尽管目前不是 100% 确定如何去做）。 任何帮助或指向正确方向的观点都将受到赞赏。

Answer 1

Azure 数据工厂

如果必须将大量数据从数据湖或企业数据仓库 (EDW) 移动到 Azure。对于大数据分析，您可能需要从多个来源将大量数据导入 Azure。 在每种情况下实现最佳性能和可扩展性至关重要。

此外，在复制活动中，您可以考虑增加 DTUs/Parallel 复制选项，这可以帮助您提高复制性能。

逻辑应用

在进行重复活动时，现代数据平台逻辑应用程序非常棒。 有几种可用的连接器，似乎对逻辑应用程序所能完成的工作的唯一限制是您自己的想象力。

事件驱动架构 (EDA)范式涉及生成-

事件的检测、消费和反应。 在数据集成场景中，用户通常需要根据存储帐户事件激活管道，例如 Azure Blob 存储帐户中的文件到达或删除。

因此，Azure 数据工厂将是比 Azure 逻辑应用程序更好的选择，但是当涉及到重复性任务时，我们可以使用 Azure 逻辑应用程序通过 ADF 编排 ETL。 使用哪个的决定将受到手头案例的极大影响，探索将 ADF、逻辑应用程序和其他服务（如 Functions）结合起来是值得的。