通过cli查询aws kinesis put-record

Question

这是关于通过 AWS CLI 执行的 aws kinesis put-record 命令。

我可以使用 kinesis cli 输入文本数据。

aws kinesis put-record --cli-binary-format raw-in-base64-out --stream-name NagaTZeusTestStream --partition-key 1 --data 2 --region  us-west-2

这里的数据是 2

但是我怎样才能把 csv 文件代替 2 作为数据。

我怎么能把一个 csv 文件放在 s3

例如：

aws kinesis put-record --cli-binary-format raw-in-base64-out --stream-name NagaTZeusStream --partition-key 1 --data s3://cona-sample-salesforce-data/testdata/ --region  us-west

在这种情况下，s3 存储桶中的文件 csv 文件应作为数据记录上传，但 kinesis 将 s3 路径本身视为数据字符串。

任何帮助将不胜感激。 提前致谢

Answer 1

Kinesis Streams 允许您编写不透明的数据块。 Kinesis PutRecord API （这是 AWS CLI kinesis put-record命令调用的内容）希望您为其提供数据块。 如果数据存储在 S3 中，则您有责任加载该数据以发送到 Kinesis。

处理“大”数据时的常见 Kinesis 模式是将实际数据放入其他存储系统（S3 就是一个很好的例子），然后将该数据的“位置”（在本例中为 S3 路径）写入 Kinesis。 使用 Kinesis Streams，您进出 Kinesis 的吞吐量（和成本）直接受到您读取/写入的数据量的影响。 这当然需要发布者和消费者之间就消息的确切格式（和语义）进行协调。 如果是这种情况，您应该查看您的消费者期望您的消息格式是什么。

但是这里故事的寓意是 Kinesis（和 CLI 的put-record ）将准确地放置/写入您提供的内容。