cost 32 ms
查询具有列表属性的 Dynamo

需要用mac_addr查询,如: 使用设备和 mac_addr 查找所有数据但正如 dynamo 中所建议的那样,对于查询我们不能使用 list. 设备 JSON 一种可能的选择是创建一个单独的表,该表具有deviceId和mac_addr ,充当查找表。 请建议是否有更好的选择。 ...

2022-09-25 06:11:49 0 23
防止 lambda 在表恢复期间处理 dynamodb stream 事件

我正在为 DynamoDB 准备灾难恢复计划。 在 DR 情况下,我们将创建一个临时表来恢复快照。 从 Temp 表中,我们会将数据复制到已使用 IAC 配置的表中。 我们的 DynamoDB 表有一个 stream 和关联的 lambda 触发器,它将处理从临时表中的数据复制的所有事件,这是不需要 ...

2022-09-14 02:06:03 1 17
AWS Lambda 事件过滤使用“存在”

根据AWS Lambda 事件过滤,您可以通过{"foo":[{"exists":true}]}等键的存在来过滤事件。 但是,经过反复试验,我发现这仅适用于包含 JSON原语而不是嵌套结构的键。 例如,上述过滤器适用于{ "foo": "bar" } 但不是为了{ "foo": { " ...

2022-09-08 09:24:50 0 22
Dynamodb Streams 中不兼容的 AttributeValue 类型

我正在尝试在@aws-sdk/util-dynamodb中提供的官方unmarshall组 function 的帮助下解组 dynamodb stream 记录。 我在 typescript 中执行此操作,定义如下所示unmarshall: (data: Record<string, Attr ...

2022-09-01 16:33:45 0 11
DynamoDB 流 - 查询和批量删除

我有两张桌子: JobListings JobListingImages 英文说明:当我删除一个职位列表时,我希望JobListingImages表中与该职位列表关联的所有图像也被删除。 代码说明:当 JobListings 中发生JobListings streamedItem.eventName ...

2022-08-23 12:36:59 0 23
AWS lambda 过滤标准未过滤掉事件

我已通过 web 接口将过滤条件添加到 JSON 格式的 DynamoDB 触发器:第一个: 第二个 我还尝试了一些方法来检查答案是否存在(作为 answer==Example 的替代测试) 我在日志中看到 lambda 是为 json 执行的,其中答案不是“示例”或答案根本不存在。 过滤器不起作用 ...

2022-08-22 11:48:29 1 12
DynamoDB 更新能否在另一个区域触发 Lambda function?

我在 A 区有一个 lambda function “mylambda”,而我的 dynamodb 表在 B 区。现在我想在“mylambda” ZC1C425268E68385D1AB504F 中创建 dynamodb 触发器。 我在 lambda 控制台中看不到任何 dynamodb 表,因为 ...

2022-08-19 11:10:45 1 22
在 dynamo db 中查询一个大的分区 ID 列表,其中分区键是唯一的

我是发电机数据库的新手。 表格如下所示 很快。 id是分区键,范围键是排序键。id值是唯一的。 在查询维度包含(或开头)的所有id时,这似乎是设计不佳的表 我知道以下方法: 使用过滤器表达式扫描表格,如下所示 使用上面的过滤器表达式逐个查询分区 id。这似乎是一个问题,因为我有一个大的id列表(分 ...

2022-08-18 15:48:37 0 13
无需停机切换 DynamoDB CDC KinesisStreamingDestinations

好的,我有一个基于事件的分布式系统,其中有很多表,其中包含为 CDC 连接的流。 我需要的是一种切换这些表所连接的流的方法。 假设我有: 表 1 -> 流 1 表 2 -> 流 2 表 3 -> 流 3 我需要有表 1 -> 流 A 表 2 -> 流 B 表 3 -& ...

2022-08-17 22:09:17 0 15
DynamoDb Stream 处理程序与 web 套接字架构,websocket 问题

我正在处理 Dynamodb 流,我必须检查事件类型执行一些计算,比如比较新旧图像,从记录中删除一些数据并将它们放在一个变量中,比如 然后我把它减少到 在此之后,我检索每个记录的活动 web 套接字连接并将数据发送给每个记录,这是它的代码 ...

2022-08-16 15:58:08 0 10
如何使用 DynamoDB 实现发布/订阅?

我需要使用 DynamoDB 实现发布/订阅。 我的每个云节点都应该将事件发送到我的应用程序中连接到同一个 DynamoDB 数据库的所有其他节点。 一个典型的用例是如果数据库中的数据发生更改,则清除缓存。 DynamoDB 可以为它提供流解决方案吗? 在我看来,stream 只能消耗一次,而不 ...

2022-08-09 10:13:03 1 19
DDB stream 限制创建小型 S3 文件

如果使用 Lambda,则 DDB 流中的有效负载限制为 6 MB,在我们的示例中生成的 S3 parquet 文件将始终远小于 <6 MB。 在大量数据的情况下,这会产生大量的小 S3 文件。 我看到有关 Spark 由于 S3 小文件过多而性能不佳的文章。 这不是限制吗? DDB 建议如 ...

2022-08-06 08:00:51 0 9
使用 DDB stream 引发过多的小 S3 文件

我正在设计读取 DDB stream 并使用 Lambda 写入 S3 以写入 S3 数据湖的解决方案我将在大约 2 分钟的一个批次 window 中读取 10,000 个更改的最大批次大小。 根据数据库中的变化速度,我的设计也可能会创建小的 S3 文件。 我看到客户在处理小型 S3 文件时遇到 S ...

2022-08-06 00:55:22 0 9
DDB stream Lambda 翻滚 window 重试行为

我正在使用带有 DDB 触发器的 Lambda 来收听 DDB stream。 我不清楚 Lambda 的重试行为与翻滚 window。 If I am maintaining a state of x in 5 minutes of tumbling window with DDB stream ...

2022-08-05 22:51:06 0 14

 
粤ICP备18138465号  © 2020-2022 STACKOOM.COM