Amazon Kinesis Firehose 到 S3

Question

我被要求編寫代碼以使用 Amazon Kinesis Firehose 將 .csv 文件發送到 S3。 但作為一個從未使用過 Kinesis 的人，我不知道該怎么做。 你能幫忙解決這個問題，或者如果你有完成這項工作的代碼，它也可以提供幫助（Java 或 Scala）。

csv 數據應發送到 Kinesis Firehose，以使用 Firehose 客戶端應用程序以 gzip 格式寫入 S3 存儲桶。

提前致謝。

Answer 1

首先，Firehose 正在流式傳輸以將記錄（或記錄）發送到目的地，而不是文件傳輸，例如將 csv 文件復制到 S3。 如果您需要將文件從某處復制到 S3，您可以使用 S3 CLI 命令。

所以請首先確保您需要做的是流式傳輸或文件復制。 如果它不是流式傳輸，那么我想知道為什么是 Firehose。

您可以使用多個輸入源。 首先最好決定使用哪種方式。

如果您使用 JAVA+AWS SDK，那么可能 PutRecord API 調用將是方式

• 使用 AWS 開發工具包寫入 Kinesis Data Firehose
• aws-sdk-java/src/samples/AmazonKinesisFirehose/
• 使用 Spring Boot 將數據放入 Amazon Kinesis Firehose 傳輸流

如果您可以使用 AWS Amazon Linux 將數據發送到 Firehose，Firehose Agent 會更容易。 它只是監視一個文件，並且可以將增量發送到 S3。

• 在此處輸入鏈接描述