在遍历数组 cosmos db 之前过滤分区键

Question

我有一个工作正常但有点慢且昂贵的 CosmosDbQuery：

SELECT c.actionType as actionType, count(1) as count 
FROM c in t.processList
WHERE c.processTimestamp > @from
GROUP BY c.actionType

为了优化我的查询，我想在遍历进程列表之前首先在我的父 partitionKey 上有一个 Where 子句，例如 parent.minute > x。 在此之后，不需要 c.processTimestamp > @from。

"id": "b6fd10cc-3a0b-4666-bf55-f22436a5f8d9",
"Name": "xxx",
"Age": 1,
"minute": 202302021026,
"processList": [
   {
      "processTimestamp": "2023-02-01T10:28:48.3004825Z",
      "actionType": "Action1",
      "oldValue": "2/1/2023 10:28:41 AM",
      "newValue": "2/1/2023 10:28:48 AM"
   },
   {
      "processTimestamp": "2023-02-01T10:28:48.3004825Z",
      "actionType": "Action2",
      "oldValue": "2/1/2023 10:28:48 AM",
      "newValue": "2/1/2023 10:28:48 AM"
   }],
}

我已经尝试过子查询和连接，但我无法让它工作：

SELECT c.actionType as actionType, count(1) as count 
FROM (SELECT * FROM C WHERE c.minute > 9) in t.processList
WHERE c.processTimestamp > @from
GROUP BY c.actionType")

我想要的结果是：

[
    {
        "actionType": "action1",
        "count": 85351
    },
    {
        "actionType": "action2",
        "count": 2354
    }
]

Answer 1

这里有几点评论。

正如我在评论中指出的那样，不支持使用子查询分组， 在此处记录。

使用日期/时间值作为分区键通常是 Cosmos DB 的反模式。 此查询可能会很慢且代价高昂，因为在大规模情况下，使用时间作为分区键意味着大多数查询由于数据新近度而命中同一分区（新数据比旧数据获得更多请求）。 出于同样的原因，这也不利于写入。

发生这种情况时，通常会增加吞吐量。 然而，这通常无济于事，在某些情况下甚至会使事情变得更糟。 此外，由于吞吐量均匀分布在所有分区中，这会导致较旧日期的分区键上未使用的吞吐量被浪费。

有两件事需要考虑。 使您的分区键成为两个属性的组合以增加基数。 在 IOT 场景中，这通常是deviceId_dateTime （ 分层分区键，现在处于预览状态，是您今天可以执行此操作的更好方法）。 这将有助于写入，尤其是在始终使用当前日期时间写入数据的情况下。

在查询的读取路径上，您可能会探索使用 Change Feed 将物化视图实施到第二个容器中。 这会将用于读取的吞吐量从用于摄取的容器中移出，从而提高吞吐量的使用效率。 但是，您应该自己测量以确保这一点。

如果您的容器很小并且始终保持这种状态，则以下信息将不适用（< 10K RU/s 和 50GB）。 但是，这样的设计将无法扩展。

Answer 2

正如 Mark 所说：子查询不支持 Groupby。 尝试使用 linq 修复它，但 linq 也不支持 groupby，因此我更改了代码，使其使用 join 而不是使用 IN 关键字循环遍历数组：

SELECT pl.actionType as actionType, count(1) as count 
FROM c 
JOIN pl IN c.processList 
WHERE c.minute > @from
GROUP BY pl.actionType")