通過 Kinesis Stream 或 Firehose 寫入 S3

Question

我有不斷發生的事件，我需要將它們放到 S3 中。 我正在嘗試評估我是否使用 Kinesis Stream 或 Firehose。 我還想在寫入 S3 之前等待幾分鍾，以便 object 相當滿。

根據我對 Kinesis Data stream 的閱讀，我必須創建一個分析應用程序，然后將其用於調用 lambda。 然后我將不得不使用 lambda 寫入 S3。 或者 Kinesis Data Streams 可以以某種方式直接寫入 lambda？ 我找不到任何表明相同的東西。

Firehose 不按小時收費（而 stream 是）。 那么firehose對我來說是更好的選擇嗎？

Answer 1

或者 Kinesis Data Streams 可以以某種方式直接寫入 lambda？

數據流無法直接寫入 S3。 相反，Firehose可以這樣做：

向 Amazon Simple Storage Service (Amazon S3) 、Amazon Redshift、Amazon Elasticsearch Service (Amazon ES)、Splunk 和任何自定義 HTTP 端點或 Z293C9EA246FF9985DC6F62A6 等第三方擁有的端點服務提供商等目的地提供實時流數據Datadog、MongoDB 和 New Relic。

更重要的是，Firehose 允許您在將記錄寫入 S3 之前對其進行緩沖。 寫入可以根據緩沖區大小或時間發生。 除此之外，您可以在寫入 S3 之前使用 lambda function 處理記錄。

因此，總的來說，Firehose 似乎比 Data Streams 更適合您的用例。