[英]is there any good way to monitor apache beam dataflow job pipeline state?
我們有一個我們想使用 StatsDClient 監控的數據流作業,所以我們想通過 StatsDClient 將數據流作業的指標發送到我們的 telegraf 以獲得數據流作業的心跳,以確定數據流作業是否正在運行或失敗,以便我們可以為它設置一些警報。 我們嘗試在主 function 中初始化 Sta ...
[英]is there any good way to monitor apache beam dataflow job pipeline state?
我們有一個我們想使用 StatsDClient 監控的數據流作業,所以我們想通過 StatsDClient 將數據流作業的指標發送到我們的 telegraf 以獲得數據流作業的心跳,以確定數據流作業是否正在運行或失敗,以便我們可以為它設置一些警報。 我們嘗試在主 function 中初始化 Sta ...
[英]DogstatsD not sending JVM runtime metrics from Google App Engine flex environment
根據 DataDog JVM 指標收集默認啟用 Java 跟蹤器 v0.29.0+ https://docs.datadoghq.com/tracing/metrics/runtime_metrics/java/ 我的代理正在運行並且跟蹤指標正常,但我沒有在 APM 部分的 JVM 指標選項卡上看 ...
[英]How can I get envoyproxy/ratelimit statistics for descriptors without value?
我正在使用envoyproxy/ratelimit (連同 Istio)在我的 k8s 集群中為給定服務設置全局速率限制。 速率限制基於 header(在我的例子中是用戶名),因此每個用戶名都受到 RPS 數量的限制。 以下配置用於實現此目的: 此外,我使用了 EnvoyFilter (Istio ...
[英]Keeping track of how long deployments take with STATSD / Datadog
賞金將在 6 天后到期。 此問題的答案有資格獲得+50聲望賞金。 user7692855想引起對這個問題的更多關注。 我希望跟蹤 datadog 中的部署持續時間。 每天只有一兩次,我們已經在日志中記錄了時間。 代碼用Python編寫,打包在Docker中。 我傾向於使用直方圖度量這是最好的方法 ...
[英]Docker wont start, Exited with ': No such file or directory
我在使用 statsd 服務和一些 ruby 腳本啟動 docker 容器時遇到問題。 這是來自這個 github 頁面的一個簡單容器 - https://github.com/morganjbruce/microservices-in-action/tree/master/chapter-7/ ...
[英]How to calculate apache airflow sensor total execution time
用例- 在這個例子中,我試圖捕捉完成傳感器工作所花費的總時間。 此處完成意味着它應該超時或傳感器返回 true。 如果我采用傳統方法,它將以小塊的形式返回時間信息(每次傳感器調用此函數時),但我需要的是總時間。 我可以在這里使用 Airflow 或 Statsd 的任何方法或支持嗎? 或者有什 ...
[英]How to use micrometer @Timed in not spring application
我有一個應用程序,它在純 java + apache kafka 流(不是 spring 應用程序)中實現。 我需要添加千分尺和自定義指標。 怎么做? 我可以在方法上使用@Timed 注釋嗎? TimedAspect 類呢? 我該如何使用它? 我正在使用 micrometer-registry ...
[英]Prometheus rate() function for a counter incrementing by 1 per second
我已經為 Prometheus 集成設置了一個簡單的 statsd,以了解 rate() function 的工作原理。 我有以下腳本每秒向 statsd 發布計數器值1 。 在 PromLens 上,我試圖將圖表可視化。 根據我的理解, rate() function 捕獲特定計數器的每秒平均增長 ...
[英]Prometheus is not scraping stats d exporter
我對 docker、k6、Prometheus、statds 非常陌生。 場景 - 創建一個將運行 create 的 docker compost 文件 具有自定義指標的 K6 負載測試。 將結果發送到 Statsd Exporter(想法是使用 Prometheus 作為數據庫,但由於 K6 ...
[英]StatsD displaying "go_gc_duration" metrics but not the airflow metrics
我們已經按照以下步驟安裝了 statsD exporter.. 添加了以下配置詳細信息 然后下載下面的zip文件 然后執行下面的命令 statsd 指標已啟動,但它顯示如下所示的“go_gc_duration”統計信息,但未顯示 airflow 統計信息。 但預期指標應如下所示 有什么我們必須做的 ...
[英]How can I detect stuck Airflow jobs?
我和我的團隊使用帶有 Redis 的 Celery 執行器在 Airflow v2.1.0 上。 最近我們注意到一些工作偶爾會運行,直到我們踢它們(很多小時,有時幾天 - 基本上直到有人注意到)。 似乎還沒有我們注意到的特定模式。 我們還使用 DataDog 和 statsd 提供程序來收集和監控 ...
[英]Not able to see metrics on datadog sent by statsd
我正在嘗試整合 statsd+datadog。 我已經使用 -e DD_DOGSTATSD_NON_LOCAL_TRAFFIC="true" 啟動了 dd-agent 容器,並且 apiKey 也是正確的(容器日志證實了這一點) 我正在使用官方代碼示例來測試集成在 datadog 儀表板上,在指標資 ...
[英]Implement tags in python statsd library?
我正在嘗試使用 statsD 中的tags功能。 但是在python statsD中沒有標簽功能。 但在文檔中,他們推薦了實現標記的替代方法statsd-tags 。 我已經安裝了statsd和statsd-tags但我仍然無法使其工作。 這是我實現的代碼: IDE 拋出意外的參數錯誤。 我在這 ...
[英]What is the best way to represent a chart of distribution of time intervals in Datadog?
我有一個處理來自不同設備的數據包的服務器。 設備可以按不同的時間間隔進行報告。 我想制作一個圖表,顯示設備數量的間隔分布(有多少設備在 5 秒/10 秒/60 秒內報告......)每個設備的間隔可能會有所不同。 現在,我使用帶有代表間隔(5 秒、10 秒、30 秒等)的標簽的 deviceId ...
[英]counter and timer with the same pattern do not work (Prometheus)
我遇到了一個問題,我正在使用具有相同度量名稱的計數器和計時器: 創建了這樣的映射: 但是這個映射只適用於定時器——第一個匹配的掩碼。 我用於從 Graphite 遷移到 Prometheus 的 statsd-exporter。 但是 Statsd 的 Gpaphite 后端工作正常,它不同的計數 ...
[英]lever 5 times that you will get your 3rd Green Light on the 5th pull of the lever
假設P(Red Light) =.40和P(Green Light) =.60 。 ...
[英]can graphite or grafana used to monitor pyspark metrics?
在 pyspark 項目中,我們有 pyspark dataframe.foreachPartition(func) 並且在該 func 中我們有一些 aiohttp 調用來傳輸數據。 什么類型的監控工具可用於監控數據速率、吞吐量、經過的時間等指標? 在這種情況下我們可以使用 statsd 和 g ...
[英]How to Decompose Global System Metrics to a Per Endpoint Basis on a Webserver
我正在為后端 API 大規模實現一個指標系統,但遇到了一個兩難境地:使用statsd ,應用程序本身在每個端點的基礎上記錄請求指標,但 CPU 指標處於全局服務器級別。 目前每個服務器有 10 個線程,這意味着可以一次處理 10 個請求(是的,是的,它實際上是串行的)。 例如,如果我們有兩個端點, ...
[英]how to monitor folder size using cloudwatch agent
有沒有辦法使用 cloudwatch 代理監控特定文件夾大小? 我看到的唯一選項是整個磁盤。 https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/metrics-collected-by-CloudWatch-agent. ...
[英]Cookbooks vs manually setting up statsD/metric collection servers?
我正在將專用 ec2 實例設置為 statsD 服務器。 我想知道是否有最佳實踐。 請允許我詳細說明。 在處理雲基礎設施時,我發現 Terraform 非常有用。 您需要的所有基礎設施都已表達出來,並且可以有效地跟蹤代碼以及對此 terraform 模塊代碼庫的任何更改。 將它與源代碼放在同一個存儲 ...