带有 Protobuf 数据的 Amazon Kinesis Firehose 到 S3

Question

有没有人尝试通过 Kinesis Firehose 将Google Protobuf (PB) 数据推送到 S3 进行存储。 我问这个问题是因为 Protobuf（通常）是一种二进制格式，我记得（可能是错误的）Firehose 在写入之前通过 base64 转换运行所有数据。 我将需要稍后读取 PB 数据进行处理，并想知道我是否需要在使用前对其进行 de-base64，或者我是否可以直接从 S3 访问原始 PB 数据。 谢谢。

Answer 1

您可以使用 Lambda 将二进制数据直接写入 S3。 不过，您需要能够从 lambda 的源中提取文件，因为我相信 API Gateway 将对二进制有效负载进行 Base64 编码。

Answer 2

您可以将二进制数据传递给 Kinesis Firehose，Kinesis 会对数据进行 base64 编码，然后再发送到另一个 AWS 服务。 查看Java文档中的setData()函数：

Kinesis Firehose 记录

例如，您需要在从 S3 读取数据后对数据进行解码以进行进一步处理。