cost 405 ms
有什么好的方法可以监控 apache 光束数据流作业管道 state? - is there any good way to monitor apache beam dataflow job pipeline state?

我们有一个我们想使用 StatsDClient 监控的数据流作业,所以我们想通过 StatsDClient 将数据流作业的指标发送到我们的 telegraf 以获得数据流作业的心跳,以确定数据流作业是否正在运行或失败,以便我们可以为它设置一些警报。 我们尝试在主 function 中初始化 Sta ...

如何获取没有值的描述符的 envoyproxy/ratelimit 统计信息? - How can I get envoyproxy/ratelimit statistics for descriptors without value?

我正在使用envoyproxy/ratelimit (连同 Istio)在我的 k8s 集群中为给定服务设置全局速率限制。 速率限制基于 header(在我的例子中是用户名),因此每个用户名都受到 RPS 数量的限制。 以下配置用于实现此目的: 此外,我使用了 EnvoyFilter (Istio ...

使用 STATSD / Datadog 跟踪部署需要多长时间 - Keeping track of how long deployments take with STATSD / Datadog

赏金将在 6 天后到期。 此问题的答案有资格获得+50声望赏金。 user7692855想引起对这个问题的更多关注。 我希望跟踪 datadog 中的部署持续时间。 每天只有一两次,我们已经在日志中记录了时间。 代码用Python编写,打包在Docker中。 我倾向于使用直方图度量这是最好的方法 ...

如何计算apache气流传感器的总执行时间 - How to calculate apache airflow sensor total execution time

用例- 在这个例子中,我试图捕捉完成传感器工作所花费的总时间。 此处完成意味着它应该超时或传感器返回 true。 如果我采用传统方法,它将以小块的形式返回时间信息(每次传感器调用此函数时),但我需要的是总时间。 我可以在这里使用 Airflow 或 Statsd 的任何方法或支持吗? 或者有什 ...

Prometheus rate() function 用于每秒递增 1 的计数器 - Prometheus rate() function for a counter incrementing by 1 per second

我已经为 Prometheus 集成设置了一个简单的 statsd,以了解 rate() function 的工作原理。 我有以下脚本每秒向 statsd 发布计数器值1 。 在 PromLens 上,我试图将图表可视化。 根据我的理解, rate() function 捕获特定计数器的每秒平均增长 ...

StatsD 显示“go_gc_duration”指标但不显示 airflow 指标 - StatsD displaying "go_gc_duration" metrics but not the airflow metrics

我们已经按照以下步骤安装了 statsD exporter.. 添加了以下配置详细信息 然后下载下面的zip文件 然后执行下面的命令 statsd 指标已启动,但它显示如下所示的“go_gc_duration”统计信息,但未显示 airflow 统计信息。 但预期指标应如下所示 有什么我们必须做的 ...

如何检测卡住的气流作业? - How can I detect stuck Airflow jobs?

我和我的团队使用带有 Redis 的 Celery 执行器在 Airflow v2.1.0 上。 最近我们注意到一些工作偶尔会运行,直到我们踢它们(很多小时,有时几天 - 基本上直到有人注意到)。 似乎还没有我们注意到的特定模式。 我们还使用 DataDog 和 statsd 提供程序来收集和监控 ...

在 Datadog 中表示时间间隔分布图的最佳方法是什么? - What is the best way to represent a chart of distribution of time intervals in Datadog?

我有一个处理来自不同设备的数据包的服务器。 设备可以按不同的时间间隔进行报告。 我想制作一个图表,显示设备数量的间隔分布(有多少设备在 5 秒/10 秒/60 秒内报告......)每个设备的间隔可能会有所不同。 现在,我使用带有代表间隔(5 秒、10 秒、30 秒等)的标签的 deviceId ...

具有相同模式的计数器和计时器不起作用(Prometheus) - counter and timer with the same pattern do not work (Prometheus)

我遇到了一个问题,我正在使用具有相同度量名称的计数器和计时器: 创建了这样的映射: 但是这个映射只适用于定时器——第一个匹配的掩码。 我用于从 Graphite 迁移到 Prometheus 的 statsd-exporter。 但是 Statsd 的 Gpaphite 后端工作正常,它不同的计数 ...

Graphite 或 Grafana 可以用来监控 pyspark 指标吗? - can graphite or grafana used to monitor pyspark metrics?

在 pyspark 项目中,我们有 pyspark dataframe.foreachPartition(func) 并且在该 func 中我们有一些 aiohttp 调用来传输数据。 什么类型的监控工具可用于监控数据速率、吞吐量、经过的时间等指标? 在这种情况下我们可以使用 statsd 和 g ...

如何在 Web 服务器上将全局系统指标分解为每个端点 - How to Decompose Global System Metrics to a Per Endpoint Basis on a Webserver

我正在为后端 API 大规模实现一个指标系统,但遇到了一个两难境地:使用statsd ,应用程序本身在每个端点的基础上记录请求指标,但 CPU 指标处于全局服务器级别。 目前每个服务器有 10 个线程,这意味着可以一次处理 10 个请求(是的,是的,它实际上是串行的)。 例如,如果我们有两个端点, ...

Cookbooks 与手动设置 statsD/metric 收集服务器? - Cookbooks vs manually setting up statsD/metric collection servers?

我正在将专用 ec2 实例设置为 statsD 服务器。 我想知道是否有最佳实践。 请允许我详细说明。 在处理云基础设施时,我发现 Terraform 非常有用。 您需要的所有基础设施都已表达出来,并且可以有效地跟踪代码以及对此 terraform 模块代码库的任何更改。 将它与源代码放在同一个存储 ...


 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM