"CLoudwatch 流数据存储和 Grafana 仪表板"

Question

我想流<\/strong>式传输 cloudwatch 指标和日志以在 Grafana 上可视化。 在可视化之前，我想将数据存储在数据存储中并在其上进行多次计算。

到目前为止，我已经尝试了以下流程。 我在这里向专家提出的问题 - 在 AWS 基础设施中是否有更好的仪表板和分析方法？ 关于以下流程的任何调整建议？

1. firehose-> opensearch-> grafana<\/strong>

开放搜索-grafana 的查询示例文档非常差

2. Firehose-> S3 -> Glue -> 红移光谱<\/strong>

• 嵌套的 json 查询导致问题<\/li>
• S3 具有带有年-月-时-日前缀的数据（因此分区在它们上面），但 Granafa 查询在时间戳上。 所以没有使用正确的分区。 因此查询非常非常慢<\/li>
• 我没有获得有关如何以 Parquet 格式推送嵌套 json 值（如原始数据中的 value.max 或维度）的正确文档。 这可以给我读到的更好的性能<\/li>
• 可以使用时间戳过滤器从 Grafana 查询中使用 S3 分区吗？<\/li>
• 即使在 VPC 中（根据公司政策），我也无法声明可公开访问的 redshift 集群。 因此只能创建频谱外部模式。 这里有没有其他技巧来获得一个物理表，我可以直接流式传输以获得更好的性能？<\/li><\/ul>

  注意<\/strong>：我不想直接从 Grafana 调用 cloudwatch API

  原始数据：<\/strong>

  维度和值采用结构格式（嵌套 json）。 BIGINT 格式的时间戳

  示例 Grafana 查询：（<\/strong>必须格式化 BIGINT 时间戳）
  红移光谱：<\/strong>