標簽[elastic-beats] - 堆棧內存溢出

[英]Is Elastic/Metricbeats suitable for process monitoring and alerting?

您是否使用 Elastic 和 Metricbeats 進行流程監控和警報？您是如何配置數據收集和警報的？我目前正在嘗試設置它，並遇到一些基本問題。這些問題讓我質疑 Elastic 是否是一個合適的警報工具。這是我計划的設置：使用 Metricbeats 收集流程數據為特定流程創建 El ...

從 metricbeat 中刪除 ECS 數據以獲取較小的文檔

[英]Remove ECS data from metricbeat for smaller documents

我使用石墨節拍將石墨協議指標導入 es。度量文檔比度量數據本身（時間戳、值、度量名稱）大得多。我還插入了所有 ECS 數據，我認為這會使我的查詢變得更慢（並且我的文檔更大），而且我不需要這些數據。我可以在 metricbeat 配置中以某種方式刪除 ECS 數據嗎？ ...

Filebeat 不轉發 nginx 入口控制器日志

[英]Filebeat is not forwarding nginx ingress controller logs

Filebeat 7.12.1 ECK 算子 2.2 我正在嘗試為我的 ECK 堆棧（安裝在 GKE 中）中的 Nginx 入口訪問日志設置 filbeat。我可以直接在 pod 中訪問日志，但我的 Kibana 儀表板沒有任何內容。我已經設置了兩個 filebeat.autodiscove ...

decode_json_fields 不將數據移動到根目錄

[英]decode_json_fields not moving data to root

我們正在使用 Winlogbeat 收集事件日志，但不是將數據從winlog字段中提取出來，我想將所有內容移動到根字段中，這將幫助我自動生成我需要的字段。我已經嘗試將processors作為上面的 winlogbeat.yml 進行全局化，並將其移動到模塊中。在這兩種情況下，處理器似乎都被完全忽 ...

Beats 將數據發送到哪里？

[英]Where does Beats send the data?

我有一個關於 Beats 的理論問題。如果我理解正確，Logstach 允許輕松解析接收到的數據並將其攝取到 ElasticSearch。所以我的問題是，Beats 是將檢索到的信息直接發送到 Logstach 配置文件還是 Beats 自己修改數據並將其直接攝取到 ElasticSearch？ ...

ElasticSearch 攝取管道 Null 值問題

[英]ElasticSearch Ingest Pipeline Null Value Question

如果我在 Filebeat 模塊中使用 elasticsearch 攝取管道，我會看到以下語句：if: 'ctx.json?.userIdentity?.userName == null' 當 json.userIdentity.userName 等於 null 時，如果上面的 if 語句為真，鍵/ ...

If then else 在 FileBeat 處理器中不起作用

[英]If then else not working in FileBeat processor

我正在嘗試在 filebeat.yml 中設置一些處理器，以便在發送到 ELK 之前處理一些日志。處理的一個重要部分是確定事件的“級別”，它並不總是包含在日志文件的行中。這是我現在的想法：我仍然不確定我正在嘗試的那些模式......但現在我不認為它們是導致我失敗的原因。嘗試使用控制台 out ...

在彈性堆棧中有 1 個索引與多個索引

[英]Having 1 index vs multiple index in Elastic stack

讓我們假設一個條件，如果我在過去 15 分鍾內有 500k 日志，這對我的彈性堆棧性能會更好有 10 個索引來保存這 500k 日志。有 1 個索引來保存 500k 日志和更多分片。這有助於提高我的儀表板性能有人可以幫助我嗎？ ...

logstash - 不獲取 [log][file][path] 的值

[英]logstash - Do not get the values for [log][file][path]

我從 logstash 中的 filebeats 接收數據，但沒有看到 [log][file][path] 的值。我看到其他人在 logstash 數據中獲取數據，以下是我收到的數據。日志路徑中沒有來自 beat 的數據。預先感謝您的幫助。 ...

在 AWS-ec2 上安裝 Beats 以發送到本地 ELK

[英]Beats installation on AWS-ec2 to send to on-prem ELK

我必須在 AWS-EC2-Windows 服務器上設置 jboss，這將按照要求進行擴展。我們正在使用 ELK 進行基礎設施監控，將在此處安裝beats，將數據發送到本地logstash。我們在那里裝載了主機名和 ip 的服務器。現在的問題是：在自動縮放的情況下，我們如何實現這一點。請指教 ...

Logstash 配置允許多個節拍輸入端口？

[英]Multiple beats input ports allowed on Logstash configuration?

我試圖通過將 conf 文件設置為 - 來實現讓 Logstash 監聽 2 個不同的節拍端口 - 一個用於 filebeat，一個用於 winlogbeat 但似乎，當容器是從這個 logstash 圖像中創建的時，它只顯示 5044 正在被監聽，在 netstat -an 列表中 Logsta ...

獲取“無法部署。啟用它”，同時使用 SQS 觸發器將 Functionbeat 部署為 AWS Lambda

[英]Getting “could not be deployed. Enable it” while deploying Functionbeat as AWS Lambda with SQS trigger

我正在嘗試從 Windows 機器將 Functionbeat 部署到 AWS Lambda，我遵循了我可以找到的文檔我做了什么： 1- 從https://www.elastic.co/downloads/beats/functionbeat (Windows zip-64) 下載 Functi ...

如何將復雜的遺留日志推送到 logstash 中？

[英]How to push complex legacy logs into logstash?

我想使用 ELK 來分析和可視化我們的 GxP 日志，這些日志是由我們的 stoneold LIMS 系統創建的。至少系統運行在 SLES 上，但整個日志結構有點亂。我試着給你一個印象：重要提示：我需要跟蹤的每項體檢都完整記錄在代表訂單輸入日期的 gpDD.log 文件中。完整檢查的持續時 ...

filebeat 不能在一個實例中使用多個輸入/輸出配置文件嗎？

[英]Can't filebeat use multiple input/output config files in one instance?

想要一起部署具有 3 個日志定義的 filebeat。發送到不同的 output 目標。 logs1 的配置圖 logs2 的配置圖 logs3 的配置圖當每個日志文件發生變化時，每次只發送到第三個logs3的output logstash-logs3.default.svc.clust ...

Filebeat 和 Amazon MSK (Kafka) 之間的 SSL 設置

[英]SSL Setup between Filebeat and Amazon MSK (Kafka)

我已經成功讓 Filebeat 以純文本模式將日志導出到 MSK。當嘗試對 SSL 執行相同操作時，我從 Filebeat 端收到錯誤消息Publish failed with circuit breaker is open 和 MSK Cloudwatch 日志中的 SSL 握手錯誤。我不需要 ...

使用 Postman 將 ELK Beat 輸出模擬到 Logstash

[英]Mock an ELK Beat output to Logstash with Postman

我有將數據發送到 logstash 的 Elastic Beats（如 metricbeat 和 auditbeat）。出於測試目的，我想模擬一些從beats 到logstash 輸入的數據。我在 beats（yaml 配置文件）中使用了 logstash 輸出插件：和 logstash ...

Logstash beats 輸入“無效版本的 beats 協議”

[英]Logstash beats input "invalid version of beats protocol"

我正在編寫一個 kibana 插件和一個 logstash 管道。對於我的測試，我只是寫了一個這樣的 logstash 輸入：但是當我嘗試打開與節點的連接時（上面的代碼）： logstash 給我“beats 協議的無效版本：22”和“beats 協議的無效版本：3”： ...

將 nifi 攝取到 hdfs 到單個目錄

[英]ingesting nifi to hdfs to a single directory

設想 CSV 數據名為 test_csv.csv 來自 windows。將 CSV 數據攝取到 hdfs。節拍 > (ListenBeats) NiFi (PutHDFS) > HDFS 數據樣本：根據 Nifi Flow UI，它工作正常並成功寫入 hdfs。問題是我試圖將P ...

使用 ELK 處理來自同一台機器的多個日志

[英]Processing multiple logs from the same machine using ELK

我有一個包含多個日志文件的主機。 2 個這樣的日志文件是 csab 和 oneapplogs。對應的 Groks 是操作日志： csab: 當我嘗試通過logstash將兩者都發送到Elasticsearch時，作為不同的日志，我有兩個單獨的logstash conf文件，它們具有不同的端口用 ...

Elastalert 在一個文件中簡化了多個規則

[英]Elastalert simplified multiple rules in one file

我正在為心跳編寫Elastalart規則，即如果服務或機器停機，我應該得到通知。現在我可以為每個文件創建一個服務規則，如下所示。有什么辦法，我可以指定多個規則嗎？？...我可以指定多個過濾器，如下所示但 Elatalert 考慮所有過濾器上的num_events 。例如，我不想對Filter ...