從 ADF 將數據發送到多個 Azure Log Analytics

Question

我們在存儲帳戶中的 parquet/json 中有數據，我們需要將其發送到多個日志分析 (LA) 目的地，具體取決於配置

今天，我們在 azure 中有一個應用服務，它逐行讀取數據，對於每一行它調用外部 API 來獲取目標日志分析配置並將數據發送到那里。 這種解決方案非常低效。

我們可以預先調用外部 API 並對數據進行分區，這樣一個分區數據將只有一個 LA 目的地。 但在那之后，將這些數據發送到洛杉磯的最佳方式是什么？

ADF 不支持將 LA 作為目的地。 我們不能也有可以在 ADF 中調用的 spark 處理器，因為 spark 對 LA 沒有很好的支持

一種選擇是從 ADF 調用 Azure Function App，並將數據發送到 LA，但我不知道它對於大量數據/文件的效率如何

這里還有什么其他更好的選擇？

謝謝

Answer 1

如果您已經為每個日志分析工作區目標分區了日志，則可以使用 API，每個發布請求最多 30MB。

https://docs.microsoft.com/en-us/rest/api/loganalytics/create-request

這仍處於預覽階段： https ://docs.microsoft.com/en-us/azure/azure-monitor/logs/data-collector-api