通過cli查詢aws kinesis put-record

Question

這是關於通過 AWS CLI 執行的 aws kinesis put-record 命令。

我可以使用 kinesis cli 輸入文本數據。

aws kinesis put-record --cli-binary-format raw-in-base64-out --stream-name NagaTZeusTestStream --partition-key 1 --data 2 --region  us-west-2

這里的數據是 2

但是我怎樣才能把 csv 文件代替 2 作為數據。

我怎么能把一個 csv 文件放在 s3

例如：

aws kinesis put-record --cli-binary-format raw-in-base64-out --stream-name NagaTZeusStream --partition-key 1 --data s3://cona-sample-salesforce-data/testdata/ --region  us-west

在這種情況下，s3 存儲桶中的文件 csv 文件應作為數據記錄上傳，但 kinesis 將 s3 路徑本身視為數據字符串。

任何幫助將不勝感激。 提前致謝

Answer 1

Kinesis Streams 允許您編寫不透明的數據塊。 Kinesis PutRecord API （這是 AWS CLI kinesis put-record命令調用的內容）希望您為其提供數據塊。 如果數據存儲在 S3 中，則您有責任加載該數據以發送到 Kinesis。

處理“大”數據時的常見 Kinesis 模式是將實際數據放入其他存儲系統（S3 就是一個很好的例子），然后將該數據的“位置”（在本例中為 S3 路徑）寫入 Kinesis。 使用 Kinesis Streams，您進出 Kinesis 的吞吐量（和成本）直接受到您讀取/寫入的數據量的影響。 這當然需要發布者和消費者之間就消息的確切格式（和語義）進行協調。 如果是這種情況，您應該查看您的消費者期望您的消息格式是什么。

但是這里故事的寓意是 Kinesis（和 CLI 的put-record ）將准確地放置/寫入您提供的內容。