SQL Server与Azure Eventhub + Logic应用程序并行插入

Question

我正在使用Azure Event Hub将Azure诊断数据流式传输到Logic应用程序，以将其保存到Azure SQL表中以进行监视。 这很好。 但是，有时会发生EventHub发送重复项的情况。 为了避免重复插入，我使用带有WHERE NOT EXISTS子句的INSERT INTO语句。 但是，我很少会得到双排。 逻辑应用程序并行运行，因此我认为这是造成此问题的原因。 我认为有时它会在完全相同的时间执行相同的插入操作，这会导致WHERE NOT EXISTS子句无法正常工作。

有谁知道解决方法？ 我宁愿不执行DELETE操作，然后再删除重复的行，因为我想在表上放置唯一的键约束。

Answer 1

您必须在功能中进行一些幂等性检查。 发生缩放时，新的缩放单元将接管分区的处理，从而重新处理相同的消息。

我不知道Service Bus是否可以将这些消息排队。 我建议您向事件中心团队报告。