無法將數據從AWS Kinesis存檔到Glacier

Question

我正在EC2上作為Web服務托管的數據處理應用程序上工作，每秒鍾都會生成一個.csv格式的小數據文件（小於10KB）。

問題陳述：將生成的所有數據文件存檔到Amazon Glacier。

我的方法：由於數據文件非常小。 我將文件存儲在AWS Kinesis中，幾小時后我將數據刷新到S3（因為我找不到直接將數據從Kinesis放入Glacier的方法），並在一天結束時使用S3生命周期管理將所有對象歸檔到Glacier 。

我的問題：

1. 有沒有辦法將數據直接從Kinesis傳輸到Glacier？

2. 是否可以配置Kinesis在一天結束時將數據刷新到S3 / Glacier？ Kinesis是否可以保留數據的時間或內存限制？

3. 如果Kinesis無法將數據直接傳輸到Glacier。 有沒有類似的解決方法-我可以編寫一個lambda函數來從Kinesis獲取數據並將其存檔到Glacier嗎？

4. 是否可以在Kinesis或S3或Glacier級別上合並所有.csv文件？

5. Kinesis是否適合我的用例？ 我還有什么可以使用的嗎？

如果有人能抽出時間回答我的問題並為我提供一些參考，我將不勝感激。 請讓我知道我的方法是否有缺陷，或者是否有更好的方法來解決。

謝謝。

Answer 1

1. 您不能將來自Kinesis的數據直接放入Glacier（除非您想將10kb文件直接放入Glacier）
2. 您可以考慮將Kinesis Data Firehose沖洗15分鍾。 數據到S3的增量
3. 您絕對可以做到。 Glacier允許直接上傳，因此無需先上傳到S3
4. 您可以使用Firehose刷新到S3，然后使用Athena進行轉換和聚合，然后將該文件轉換為Glacier。 或者，您直接使用Lambda，然后直接上傳到Glacier。
5. 將數據流傳輸到Firehose也許更有意義。 根據您的確切需求，IoT Analytics也可能很有趣。

再次閱讀您的問題，看到您使用的是csv文件，我強烈建議您使用Kinesis> S3> Athena>向冰川過渡