cost 375 ms
Azure.Messaging.EventHubs EventProcessorClient - 在关机/重启时写入检查点 - Azure.Messaging.EventHubs EventProcessorClient - Writing checkpoint on shutdown/restart

我们正在使用EventProcessorClient class 从事件中心的所有分区读取消息。 为了增强检查点编写,我们持有一个计数器并在ProcessEventAsync中处理多条消息之后而不是每条消息之后执行检查点。 当服务重新启动或部署时,我们注意到由于检查点在停止前没有更新,因此我们重新读 ...

Azure Event Hub 确保只读取一次数据并进行故障处理 - Azure Event Hub to ensure read data only once with failure handling

大家好,我正在研究用例,我正在通过 Azure 云中的事件中心对增量表实施更新/增量更新。 我遇到了必要的事件中心和增量实时表。 我在开始时有一个 HVR 代理,它将从各种数据源获取连续数据。 事件中心将读取数据并将数据放置到增量实时表中,并进一步放置到将充当管道源的增量表中。 以下是要涵盖的场景。 ...

Azure Eventhub 捕获功能以及如何重播 - Azure Eventhub capture functionality and how to replay

azure eventthub 捕获到底是什么。 是否有一种机制可以在持久存储中无限保留事件,例如 avro/parquet 形式的存储帐户内的 Azure blob? 如果是这样,我如何从使用普通卡夫卡消费者开始重播这些事件(通过 eventthub 捕获在 azure 存储中捕获的事件)。 任 ...

我们可以暂时停止事件中心捕获并重新启用吗? - Can we stop event hub capture for time being & re-enable?

我有事件中心捕获生成的 avro 文件并存储在 ADLS Gen1 中。 现在我想将所有这些文件(大小 ~6 TB)迁移到 ADLS Gen2。 在迁移过程中,我不希望事件中心捕获生成新的 avro 文件并放置在旧的 Gen1 路径中,因此想知道是否有办法暂时停止“捕获”并在数据迁移和协调活动后重新 ...

Azure Eventhub 消费者 - Azure Eventhub Consumer

为什么我们需要一个用于 Eventhub 消费者客户端的 Azure 存储帐户上的 blob 容器(我使用的是 python)。 为什么我们不能像在 Kafka 中那样直接使用来自 Eventhub(Kafka 术语中的主题)的消息,或者可以以任何其他方式完成? 我正在关注下面链接的官方 Azur ...

在调试对 Azure 组件具有内部依赖性的项目时,我收到与分区 ID 相关的错误 - While debugging project which has internal dependency on the Azure component , I am getting error related to partition id

错误指出:“异常用户未处理 Microsoft.Azure.EventHubs.Processor.EventProcessorConfigurationException:'在获取 EventHub Partitionids 列表时遇到错误'内部异常 SocketException:连接尝试失败, ...

使用 Azure DataFactory 管道将已读取的 Avro 文件从一个目录移动到另一个目录 - Moving already read Avro Files from One Directory to Another Using Azure DataFactory Pipeline

我有一个 Eventhub Capture,它每 15 分钟发出一次Avro 文件。 我可以使用 Azure 数据工厂数据流成功读取这些文件,但是一旦我使用 Azure 数据工厂数据流完成读取这些文件,我该如何移动这些文件? 将会有新文件进入,我不想将新文件仅将已处理的文件移动到存档文件夹中。 我尝 ...

在不同订阅上将 Azure EventHub 数据捕获到 Azure Data Lake - Capture Azure EventHub data to Azure Data Lake on a different subscription

我的团队在我们自己的 Azure 订阅中发布了有关 Azure EventHub 的数据。 我们正在尝试将这些数据传播给我们组织内需要在他们自己的订阅中查询这些数据的其他几个团队。 我知道您可以通过打开 EventHub 的捕获并指定您的存储资源来将数据直接捕获到存储中,但据我所知,这不适用于不同 ...

Azure EventHub:无法从事件中心采样 - Azure EventHub : Unable to sample from an Event Hub

我无法从事件中心条目的流式传输中采样:测试查询是: 返回: 我能够从编码的 python 程序接收数据。 我在 azure.eventhub.extensions package 的帮助下编写了一个 EventHubConsumerClient ,一切都很好,我可以看到我的事件发送到特定的 con ...

我可以通过使用服务总线会话插入事件中心来避免重复事件吗? - Can I avoid Event Hub duplicates by plugging it with Service Bus Sessions?

我们的应用架构如下: 第三方事件中心 ==> 我们的 azure function ==> 我们的事件中心 ==> 我们的事件中心捕获。 问题是我们经常收到重复的消息,而且我们在数据中没有任何主键。 我可以在线阅读Service Bus Sessions 可以避免这个重复的问题。 ...

Azure Function 事件中心不触发应用程序 - Azure Function App does not trigger by Event Hub

大家好。 我已经编写了 Python function 来处理即将到达 EventHub 的 JSON 事件。 这些事件是由 Debezium 生成的,这部分工作正常。 当从 Visual Studio Code 在本地执行时,我的 python 代码也能正常工作。 当我部署(使用 VSC)到 Az ...

什么是 Azure Eventhub Python SDK v5.xx 等效于 EPHOptions.keep1_alive_interval 是 v5.xx 的一部分 - What is Azure Eventhub Python SDK v5.x.x equivalent of EPHOptions.keep_alive_interval which was a part of v1.x.x

我一直在将 Python Eventhub SDK 从 v1 迁移到 v5。 由于EPHOptions在新版本中已弃用。 我将无法在 v5.xx 中使用它我想使用 EPHOptions.keep_alive_interval,它在 Python Eventhub SDK v5.xx 中的等价物是什么 ...

Azure 事件中心 - 通过 scala 脚本处理数据 - Azure Event Hub - Process data through scala script

我需要将平面文件中的数据从 VM unix 服务器发送到 Azure 事件中心并发布到 azure blob 存储。 我可以使用下面的代码来做到这一点 我的文件有大约 1000 条记录。 为此,事件中心创建了大约 12 个请求(似乎这是随机执行的)。 我只是想了解事件中心在什么基础上创建请求,有没有 ...

Azure 帐户流式传输到单个 EventHub 中的多个订阅 - Multiple Subscriptions in Azure Account Streaming to a single EventHub

我想 stream 来自不同订阅的事件到 azure 上的单个 eventthub。 目前,我已将 eventthub 配置为单个订阅,并且正在流式传输事件。 我有一个 java 客户端,它使用这些事件并将其存储在我的持久层上。 我的 java 客户端看起来像.. 我能够从一个订阅中读取所有事件。 ...


 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM