AWS CDK 向 Kinesis Data Stream 的 AWS 托管 CMK 授予解密權限
[英]AWS CDK grant decrypt permission to Kinesis Data Stream's AWS managed CMK
我正在使用 AWS 托管 KMS 密鑰以及從 stream 讀取的交付 Stream 來配置 Kinesis 數據 Stream。在如何為托管密鑰的交付 stream 角色添加解密策略方面存在問題。 代碼如下所示，問題是使用“aws/kinesis”別名獲取密鑰不起作用，除非我有辦法將依賴項添加到“ ...
lambda function 的 RAM 是用於一次調用還是所有並發調用？
[英]Is the RAM for a lambda function for one invocation or all concurrent invocations?
據我了解，AWS Kinesis 數據 stream 可能有多個分片。 每個分片將調用一個 lambda function，它們可以並行發生。 所以問題是，您為 lambda function 配置的 RAM，是一個 function 還是同時運行的所有功能？ 例如，如果我為我的 lambda f ...
Redshift 刪除顯式鎖會導致丟失行/重復行。 最佳分辨率？
[英]Redshift removal of explicit locks lead to missing rows/duplicated rows. Best resolution?
我有一個用例，多個數據科學家同時使用我們的一些紅移表進行調優。 如果他們同時調整並同時導入數據，我們最終會丟失行和重復行。 不久前，他們從表中刪除了顯式鎖以減少掛在這些鎖上的負載量。 我假設刪除顯式鎖會導致行重復和丟失。 就前進的道路而言，我正在考慮使用 kinesis，redis，或類似於將這些 ...
在 DynamoDB Streams 和 Kinesis Streams 之間選擇用於 IoT 傳感器數據
[英]Choosing between DynamoDB Streams vs. Kinesis Streams for IoT Sensor data
我有 250 個支持 Wifi 的物聯網傳感器傳輸重量數據。 每個設備每秒采樣一次。 我在選擇 AWS DynamoDB Streams 和 AWS Kinesis Streams 之間請求幫助，以實時存儲和處理這些數據。 以下是一些額外的要求： 我需要將所有原始數據保存在一個 SQL 可訪問的表中 ...
如何為多個消費者提供 stream 過濾事件？
[英]How to serve multiple consumers a stream of filtered events?
我有一個事件 stream，每個事件包含 JSON 條消息。 我需要允許 1000 人同時收聽此事件 stream，但每個人都給了我一組過濾器以應用於事件消息。 所以一個人 A 可能只想要與體育相關的消息 B 只想要與戲劇等相關的消息...... 過濾器本身可以不時更換過濾器事件流我嘗試查看了 A ...
如何將時間戳更改為其他時間而不是 utc 時間
[英]How to change the timestamp to other time rather than utc time
我正在研究基於 iiot 的監控解決方案並使用 aws 服務。 我在這個流程中批處理從 iot 核心收到的數據：- iot core -> rules (to firehose delivery stream) -> kinesis firehose (900 second buffer ...
AWS Kinesis Data Firehose 和 Lambda
[英]AWS Kinesis Data Firehose and Lambda
我有不同的數據源，我需要將它們實時發布到 S3。 在將數據傳送到 S3 存儲桶之前，我還需要處理和驗證數據。 所以，我必須使用 AWS Lambda 和驗證數據。 問題是AWS Kinesis Data Firehose和使用AWS Lambda直接存入S3 Bucket有什么區別？ 很明顯，使用 ...
AWS kinessis starting position of LATEST 不是違背了FIFO的概念嗎？
[英]Isn't AWS kinessis starting position of LATEST contrary to the concept of FIFO?
位於https://docs.aws.amazon.com/kinesis/latest/APIReference/API_StartingPosition.html的 AWS 文檔解釋了起始 position 參數。 這是最新選項的解釋： 在分片中的最新記錄之后開始流式傳輸，以便您始終讀取分片中 ...
DynamoDB 觸發器 Lambda Function 調用失敗
[英]DynamoDB Trigger Lambda Function Call Failed
我正在嘗試跟蹤 DynamoDB 表觸發器中的事件 Lambda function 將事件移至 Kinesis Data Firehose。 然后，Kinesis 對文件進行批處理並將它們發送到 S3 存儲桶。 我正在使用的 Lambda function 作為觸發器失敗。 這是觸發器的 Lambd ...
Apache Kinesis Streams 上 JOINS 的 Flink 問題 Rowtime 屬性不得位於常規連接的輸入行中
[英]Apache Flink issue with JOINS on Kinesis Streams Rowtime attributes must not be in the input rows of a regular join
我正在嘗試一個簡單的練習，我有兩個運動數據 stream 訂單流出貨流 SQL 1 訂單 SQL 2 出貨 通過 Python 將假數據生成到 Kinesis 加入問題 錯誤訊息 也試過 錯誤消息：SQL 驗證失敗。 從第 2 行第 17 列到第 2 行第 57 列：調用輔助組 function ...
python - 'utf-8' 編解碼器無法解碼 position 0-2 中的字節：無效的連續字節
[英]python - 'utf-8' codec can't decode bytes in position 0-2: invalid continuation byte
我正在嘗試使用 aws lambda 從 aws 運動數據 stream 解碼以下內容，但我不斷收到“'utf-8'** 編解碼器無法解碼 position 0-2 中的字節：無效的連續字節”錯誤 x = b'\xf3\x89\x9a\xc2\n$dad568a5-6305-481c-b6f1-f8 ...
使用 CDK 使 DynamoDB 表成為 Kinesis Data Stream 的消費者
[英]Make DynamoDB table a consumer for Kinesis Data Stream using CDK
我想在 Kinesis Data Stream 上啟用增強型扇出，並使用 CDK 使 DynamoDB 成為消費者。 我發現CfnStreamConsumer構造可以使用 Kinesis 數據 stream 注冊消費者，但我不知道如何連接 dynamodb 表，因為該構造只接受 kinesis st ...
無法使用 AWS CDK 創建對 KinesisStream 的訂閱過濾器
[英]Unable to create subscription filter to KinesisStream using AWS CDK
我想 stream 從 cloudwatch 到 S3 的一些日志。 為此，我通過 CDK 創建了資源。 與 Kinesis 相關的代碼是 -const rootStream = new Stream(this, 'Root', { streamName: `stream-name` ...
如何對aws sqs中的iot數據進行批處理，然后將數據存儲到aws s3中
[英]How to batch the iot data in aws sqs and then store data in aws s3
我正在嘗試將物聯網數據存儲在 aws s3 存儲桶中，但數據的大小非常小，大約 1-3kb 將如此小的數據存儲在 s3 中沒有意義，我想使用 aws sqs 服務（fifo 隊列）來保持數據在隊列中大約 15-30 分鍾，然后將批處理的 json 數據發送到 s3 存儲桶，並且還想在批處理數據存儲到 ...
將不同來源的數據流式傳輸到 AWS S3
[英]Streaming Data From different Sources to AWS S3
我有不同的數據源，我需要將它們實時發布到 S3。 在將數據傳送到 S3 存儲桶之前，我還需要處理和驗證數據。 我知道 AWS Kinesis Data Stream 提供實時數據流，我可以在將數據發送到 S3 之前使用 AWS lambda 處理數據。 但是，我不清楚我們可以使用 AWS Glue ...
Kinesis Analytics Studio 上的 PyFlink - 無法將 DataStream 轉換為 Amazon Kinesis Data Stream
[英]PyFlink on Kinesis Analytics Studio - Cannot convert DataStream to Amazon Kinesis Data Stream
我有一個來自 CoFlatMapFunction 的 DataStream <pyflink.datastream.data_stream.DataStream> （此處已簡化）：%flink.pyflink # join two streams and update the rule ...
Apache 使用 ProcessFunction 或 RichFlatMapFunction 時 Flink sink 沒有被調用
[英]Apache Flink sink doesn't get invoked when using ProcessFunction or RichFlatMapFunction
我的 Flink 應用程序從一個 kafka 源讀取數據，將其映射到 object 並寫入另一個 kafka 主題。 如果我使用MapFunction進行轉換，一切正常，但只要我使用extends ProcessFunction or RichFlatMapFunction類的實現，就根本不會調用 ...
AWS Greengrass 不向 AWS Kinesis 發送數據
[英]AWS Greengrass doesn't send data to AWS Kinesis
我的程序的主要目的是連接到一個傳入的 MQTT 通道，並將收到的數據發送到我的 AWS Kinesis Stream，稱為“MyKinesisStream”。 這是我的代碼： （虛線部分...被注釋掉，因為它們是敏感信息，但它們是正確的值。） 問題是它不會向我們的 kinesis stream 發 ...
從數據 stream (Kinesis) 到 OpenSearch AWS 創建交付 stream (Firehose)
[英]Create delivery stream (Firehose) from data stream (Kinesis) to OpenSearch AWS
我正在嘗試使用以下選項在 AWS 控制台中創建交付 Stream (Firehose)： 資料來源：Amazon Kinesis 數據流目的地：Amazon OpenSearch 服務 Amazon OpenSearch Service 的域是 OpenSearch 2.3 版本，具有以下選項： ...
如何通過 CDK 在 AWS Kinesis 上添加增強（分片級）指標？
[英]How to add Enhanced (shard-level) metrics on AWS Kinesis via CDK?
我正在將構建資源的方式從 terraform 轉換為 CDK，我遇到了一個問題，涉及將分片級指標添加到運動 stream 構造。 我搜索了多個資源（CDK 文檔、Github、stackoverflow），但沒有找到任何關於將分片級指標添加到運動 stream 構造的示例或文檔。 Terrafo ...