帶有 Protobuf 數據的 Amazon Kinesis Firehose 到 S3

Question

有沒有人嘗試通過 Kinesis Firehose 將Google Protobuf (PB) 數據推送到 S3 進行存儲。 我問這個問題是因為 Protobuf（通常）是一種二進制格式，我記得（可能是錯誤的）Firehose 在寫入之前通過 base64 轉換運行所有數據。 我將需要稍后讀取 PB 數據進行處理，並想知道我是否需要在使用前對其進行 de-base64，或者我是否可以直接從 S3 訪問原始 PB 數據。 謝謝。

Answer 1

您可以使用 Lambda 將二進制數據直接寫入 S3。 不過，您需要能夠從 lambda 的源中提取文件，因為我相信 API Gateway 將對二進制有效負載進行 Base64 編碼。

Answer 2

您可以將二進制數據傳遞給 Kinesis Firehose，Kinesis 會對數據進行 base64 編碼，然后再發送到另一個 AWS 服務。 查看Java文檔中的setData()函數：

Kinesis Firehose 記錄

例如，您需要在從 S3 讀取數據后對數據進行解碼以進行進一步處理。