如何从 s3 存储桶读取数据到 Kinesis Stream

Question

我是 Kinesis 的新手。 我想从 s3 存储桶读取数据到 Kinesis stream。 我创建了一个名为“mystream”的运动 stream。 在我的项目中，每 3 个月将有一条记录上传到 s3。 同时我需要读取kinesis stream的记录。 我创建了 Lamda 来读取文件并将其保存到 RDS 数据库实例中。 我在 lambda 项目中发现有一个运动事件。 这是做这件事的方法吗？ 请帮我得到这个。 我不知道如何开始它和所有..如果有人可以帮助我会很棒....

Answer 1

如果我的理解是正确的，您的问题是关于如何将 s3 对象数据写入 kinesis。

您可以在 S3 中为 lambda 创建事件通知。 在事件中，您可以选择事件（ObjectCreate (All)、put、post）。 为每个对象创建操作成功创建后，您会在 lambda 中收到通知。 在 lambda 事件上下文中，您可以获得每次调用的 s3 对象信息。

现在您可以阅读对象信息并将其写入 kinesis 流。

使用 Java 的 AWS S3 和 Kinesis Stream 的链接

https://docs.aws.amazon.com/AmazonS3/latest/dev/RetrievingObjectUsingJava.html

https://docs.aws.amazon.com/streams/latest/dev/developing-producers-with-sdk.html

Answer 2

AWS 建议使用 AWS DMS 将文件从 S3 摄取到 Kinsis。

https://aws.amazon.com/blogs/big-data/streaming-data-from-amazon-s3-to-amazon-kinesis-data-streams-using-aws-dms/

Answer 3

对于 AWS SDK 版本，您可能需要更改将 S3 文件读入 Lambda function 的方式。 内容现在以 stream 的形式返回：

https://docs.aws.amazon.com/AmazonS3/latest/API/API_GetObject.html#API_GetObject_ResponseSyntax

您可以将 stream 的数据放入您的 Lambda： https://carova.io/snippets/read-data-from-aws-s3-with-nodejs

然后在您的 Lambda Function 中，将内容推送到 Kinesis 将 AWS Lambda 数据推送到 Kinesis ZEAE835E83C04494A3769229F2