如何在 Azure 數據資源管理器的攝取時驗證和排除數據

Question

我正在將數據從 Web 客戶端發送到事件中心，然后攝取到 Azure 數據資源管理器中。 Web 客戶端生成的事件有一個timestamp字段，當事件中心接收到事件時，它會添加一個EventEnqueuedUtcTime字段。 兩者都是UTC時間戳。

有沒有辦法在數據資源管理器攝取時比較兩個時間戳，並在時間差超過某個值時排除數據？

例如，如果EventEnqueuedUtcTime - timestamp > x minutes ，那么我們不會將此事件攝取到數據資源管理器中？

Answer 1

是的，您可以使用Update policy 來實現。 更新策略可以有這樣的條件：

T
| where  EventEnqueuedUtcTime - timestamp < x minutes

Answer 2

您可以將這種過濾邏輯作為更新策略的一部分來實現： https : //docs.microsoft.com/en-us/azure/data-explorer/kusto/management/updatepolicy

1. 將原始數據攝取到SourceTable 。
2. 創建TargetTable ，它具有與SourceTable完全相同的架構。
3. 將TargetTable上的更新策略設置為SourceTable作為其源表，並將過濾邏輯定義為策略的Query屬性的一部分（您也可以在此處使用存儲函數）
4. 將SourceTable配置為具有“零”( 00:00:00 ) 軟刪除期作為其保留策略的一部分，以便原始數據永遠不會被查詢並且不會被保留。