将数据从 AWS IoT 发送到数据库

Question

我有一个问题问你。 我是 AWS IoT、AWS ES 和 MQTT 的新手。 我遵循了这个不错的教程并完成了它。 我使用 AWS Lambda function 向 AWS IoT 发送了一个 JSON 数据。然后，在 AWS IoT 中，我创建了一个规则，将此数据发送到 AWS Elasticsearch。最后，我使用 Kibana 将数据可视化。

我的下一个任务是将这些数据存储在 3 种不同类型的数据库中：关系数据库 (Amazon Aurora)、键值数据库 (Amazon Dynamo DB) 和文档数据库 (Amazon Document DB)。 但如您所知，AWS IoT 通常不提供这些选项。 它仅提供“将消息插入 DynamoDB 表”选项。 在这种情况下，我如何创建其他数据库并从 AWS IoT 发送数据？ 您是否可以就此向我建议任何资源或教程？

如果有经验的人可以指导我，我会很高兴非常感谢！

（仅供参考：我的 elasticsearch 没有 VPC。我正在使用公共访问。到目前为止，我没有使用任何 EC2。）

Answer 1

将 AWS IoT 数据插入数据库的最常见方法是配置 IoT 以将消息发送到 AWS Lambda function。在 Lambda function 中，您将连接到数据库并像任何其他数据库交互一样插入数据。

Answer 2

您可以使用 AWS IoT Analytics 将消息存储在 S3 存储桶中。 一个简单的管道（没有转换）将以压缩格式存储传入消息，json.gz 文件中的 output 由数据/时间戳命名。 如果您使用自定义 S3 存储桶配置 IoT Analytics，则可以将存储桶的保留策略设置为使旧数据过期。

您可以编写一些代码来读取 Analytics Pipeline output 文件并将它们放入您想要的任何数据存储中。

或者您可以将消息发送到 Lambda function 并让它们连接并将消息存储在数据库中。 使用 Analytics Pipeline 的优势在于，如果您遇到数据库停机或部署带有错误的数据库摄取代码，您可以继续接收/存储 MQTT 消息。