如何從 s3 存儲桶讀取數據到 Kinesis Stream

Question

我是 Kinesis 的新手。 我想從 s3 存儲桶讀取數據到 Kinesis stream。 我創建了一個名為“mystream”的運動 stream。 在我的項目中，每 3 個月將有一條記錄上傳到 s3。 同時我需要讀取kinesis stream的記錄。 我創建了 Lamda 來讀取文件並將其保存到 RDS 數據庫實例中。 我在 lambda 項目中發現有一個運動事件。 這是做這件事的方法嗎？ 請幫我得到這個。 我不知道如何開始它和所有..如果有人可以幫助我會很棒....

Answer 1

如果我的理解是正確的，您的問題是關於如何將 s3 對象數據寫入 kinesis。

您可以在 S3 中為 lambda 創建事件通知。 在事件中，您可以選擇事件（ObjectCreate (All)、put、post）。 為每個對象創建操作成功創建后，您會在 lambda 中收到通知。 在 lambda 事件上下文中，您可以獲得每次調用的 s3 對象信息。

現在您可以閱讀對象信息並將其寫入 kinesis 流。

使用 Java 的 AWS S3 和 Kinesis Stream 的鏈接

https://docs.aws.amazon.com/AmazonS3/latest/dev/RetrievingObjectUsingJava.html

https://docs.aws.amazon.com/streams/latest/dev/developing-producers-with-sdk.html

Answer 2

AWS 建議使用 AWS DMS 將文件從 S3 攝取到 Kinsis。

https://aws.amazon.com/blogs/big-data/streaming-data-from-amazon-s3-to-amazon-kinesis-data-streams-using-aws-dms/

Answer 3

對於 AWS SDK 版本，您可能需要更改將 S3 文件讀入 Lambda function 的方式。 內容現在以 stream 的形式返回：

https://docs.aws.amazon.com/AmazonS3/latest/API/API_GetObject.html#API_GetObject_ResponseSyntax

您可以將 stream 的數據放入您的 Lambda： https://carova.io/snippets/read-data-from-aws-s3-with-nodejs

然后在您的 Lambda Function 中，將內容推送到 Kinesis 將 AWS Lambda 數據推送到 Kinesis ZEAE835E83C04494A3769229F2