Amazon Kinesis Firehose 到 S3

Question

我被要求编写代码以使用 Amazon Kinesis Firehose 将 .csv 文件发送到 S3。 但作为一个从未使用过 Kinesis 的人，我不知道该怎么做。 你能帮忙解决这个问题，或者如果你有完成这项工作的代码，它也可以提供帮助（Java 或 Scala）。

csv 数据应发送到 Kinesis Firehose，以使用 Firehose 客户端应用程序以 gzip 格式写入 S3 存储桶。

提前致谢。

Answer 1

首先，Firehose 正在流式传输以将记录（或记录）发送到目的地，而不是文件传输，例如将 csv 文件复制到 S3。 如果您需要将文件从某处复制到 S3，您可以使用 S3 CLI 命令。

所以请首先确保您需要做的是流式传输或文件复制。 如果它不是流式传输，那么我想知道为什么是 Firehose。

您可以使用多个输入源。 首先最好决定使用哪种方式。

如果您使用 JAVA+AWS SDK，那么可能 PutRecord API 调用将是方式

• 使用 AWS 开发工具包写入 Kinesis Data Firehose
• aws-sdk-java/src/samples/AmazonKinesisFirehose/
• 使用 Spring Boot 将数据放入 Amazon Kinesis Firehose 传输流

如果您可以使用 AWS Amazon Linux 将数据发送到 Firehose，Firehose Agent 会更容易。 它只是监视一个文件，并且可以将增量发送到 S3。

• 在此处输入链接描述