Fiware IoT Agent - 数据丢失问题

Question

我们观察到 IoT Agent 中有大量数据丢失。 当 IoT 代理从我们的 VerneMQ MQTT 代理接收数据时，就会发生数据丢失。

我们的数据以 1000/分钟的速度流动。 当 IoT 代理启动时，它可以正常工作大约 12 小时，但 12 小时后我们看到平均数据丢失 20%。

除了从 VerneMQ 主题接收相同数据的 IoT 代理之外，我们还有另一个订阅者，并且该订阅者从 VerneMQ 接收所有数据。 数据丢失仅在 IoT 代理中。

我们使用 ECS/Fargate 服务在 AWS 环境中运行 IoT Agent 和 Orion Context Broker。 每个 IoT 代理和 Orion 实例都在单独的专用容器中运行。

当IoT Agent在一个ECS容器上运行时，它运行良好，没有数据丢失，但是当ECS容器增加到多个时，似乎有数据丢失。 您能否指导并帮助我们解决此问题。

有关我们环境的详细信息：

1. 物联网代理版本：

{ "libVersion": "2.12.0-next", "port": "4041", "baseRoot": "/", "version": "1.14.0-next" }

2. Orion 上下文代理版本：

 { "orion": { "version": "2.3.0", "uptime": "0 d, 3 h, 51 m, 36 s", "git_hash": "764f44bff1e73f819d4e0ac52e878272c375d322", "compile_time": "Tue Nov 5 09:38:37 UTC 2019", "compiled_by": "root", "compiled_in": "38ab37448d3a", "release_date": "Tue Nov 5 09:38:37 UTC 2019", "doc": "https://fiware-orion.rtfd.io/en/2.3.0/" } }

IoT Agent 中设置的环境变量：

Answer 1

考虑在内：

IoT Agent 在一个 ECS 容器上运行时没有数据丢失，但当 ECS 容器增加到多个时，似乎有数据丢失

问题似乎与底层基础设施有关，但与 FIWARE 软件本身无关。 因此，我建议检查您的 AWS ECS 设置（不幸的是，我不是 AWS ECS 方面的专家，所以我无法提供更具体的反馈）。

Answer 2

当您说“数据丢失”时，您是说 VerneMQ 记录它正在丢弃的消息吗？ 如果消费者超载，就会发生这种情况。 在这种情况下，VerneMQ 将通过卸载消息来保护它。

不过，您当前的消息速率应该不是问题。

André（与 VerneMQ 项目）