[英]Azure Data Factory: common logic before/after all activities
我将在 ADF 管道之上实施自定义审计。 我的 ADF 管道由不同类型的活动组成：摄取、Databricks、将结果加载到数据仓库等。在每个活动的开始和结束时，我想将一些信息写入审计数据库。
我不喜欢用额外的审计活动来包装每个管道活动。 我想为所有活动做一些通用的方面/建议。 但我认为这不是 ADF 应该使用的方式。
当然，使用审计来包装自定义 Databricks/Python 代码很容易，但是摄取/上传活动怎么样？
在所有 ADF 管道活动之前/之后实施自定义逻辑的最佳方法是什么？
在 Apache NiFi 中，可以访问 NiFi 的日志并构建一个单独的并行管道，该管道将解析日志并将其写入审计数据库。 见文章。 据我所知，我可以配置 ADF 将日志写入 Azure 存储。 比从那里读取日志并写入审计数据库。 但这对我来说听起来像是一个糟糕的设计。 还有更好的选择吗？
据我所知，除了您提到的方法之外，没有直接的方法可以做到这一点，即在预处理和后处理逻辑之间包装每个活动，并通过将您的信息记录到您的接收器来对其进行审核，但是我认为这将是如果活动本身开始支持 ADF 本身中的预处理和后处理事件，并允许调用 webhooks 以便任何预处理和后处理数据都可以发送到 webhooks，那么这是一个很好的功能。
此外，您可以通过feedback.azure.com/forums/270578-data-factory向团队提交想法或建议
如何通过对 azure 数据工厂管道中的所有活动进行通用故障处理活动来触发独立的故障警报
[英]How to trigger independent failure alerts by having common failure handling activity for all the activities in azure data factory pipeline
Azure 数据工厂 - 根据先前活动的 OR 逻辑输出调用活动
[英]Azure Data Factory - Calling an activity based on OR logic output of prior activities
所有其他副本数据活动完成后，执行Azure数据工厂活动
[英]Azure data factory activity execute after all other copy data activities have completed
在执行 Azure 逻辑应用程序的后续步骤之前，有没有办法“等待”“Azure 数据工厂”执行任务完成
[英]Is there a way to “wait” for “Azure Data Factory” Execution task to complete before executing next steps of Azure Logic Apps
Azure 数据工厂的逻辑应用连接器未显示现有工厂管道
[英]Logic App connector for Azure Data Factory not showing existing factory pipeline
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
