Azure 数据工厂管道日志

Question

Azure Pipeline v2 的数据日志存储在哪里，我想检索特定日期的失败管道的数据。（不想使用 azure 门户查看这些数据）。 是否有任何表/视图保存来自数据库的此类数据日志。

Answer 1

据我所知，要获取诊断日志，您可以使用Azure Monitor 、 Operations Management Suite (OMS)或直观地监视这些管道。

Answer 2

Azure Pipeline v2 是指 Azure 数据工厂 v2。 使用 Azure Monitor 警报和监视数据工厂

诊断日志：

• 将它们保存到存储帐户以供审核或手动检查。 您可以使用诊断设置指定保留时间（以天为单位）。
• 将它们流式传输到事件中心以供第三方服务或自定义分析解决方案（例如 PowerBI）摄取。
• 使用 Log Analytics 分析它们

Answer 3

日志在 Azure 数据工厂 Web 服务器上存储 45 天。 如果要获取管道运行和活动运行元数据，可以使用 Azure 数据工厂 SDK 提取所需信息并将其保存在所需位置。

Answer 4

对于日志术语分析以及限制对生产数据工厂的访问，推荐的方法是配置要发送到日志分析的日志。 请务必启用专用日志表，因为这将有助于后端组织日志。

您还可以从那里设置警报和访问组，运行日志分析查询以进行更好的监控。