通过 Kinesis Stream 或 Firehose 写入 S3

Question

我有不断发生的事件，我需要将它们放到 S3 中。 我正在尝试评估我是否使用 Kinesis Stream 或 Firehose。 我还想在写入 S3 之前等待几分钟，以便 object 相当满。

根据我对 Kinesis Data stream 的阅读，我必须创建一个分析应用程序，然后将其用于调用 lambda。 然后我将不得不使用 lambda 写入 S3。 或者 Kinesis Data Streams 可以以某种方式直接写入 lambda？ 我找不到任何表明相同的东西。

Firehose 不按小时收费（而 stream 是）。 那么firehose对我来说是更好的选择吗？

Answer 1

或者 Kinesis Data Streams 可以以某种方式直接写入 lambda？

数据流无法直接写入 S3。 相反，Firehose可以这样做：

向 Amazon Simple Storage Service (Amazon S3) 、Amazon Redshift、Amazon Elasticsearch Service (Amazon ES)、Splunk 和任何自定义 HTTP 端点或 Z293C9EA246FF9985DC6F62A6 等第三方拥有的端点服务提供商等目的地提供实时流数据Datadog、MongoDB 和 New Relic。

更重要的是，Firehose 允许您在将记录写入 S3 之前对其进行缓冲。 写入可以根据缓冲区大小或时间发生。 除此之外，您可以在写入 S3 之前使用 lambda function 处理记录。

因此，总的来说，Firehose 似乎比 Data Streams 更适合您的用例。