![](/img/trans.png)
[英]Logstash filter according to fields source declare in filebeat config
我想使用字段源和在 filebeat 輸入中聲明的字段分離日志文件,因為從 kibana 端,日志的源是訪問/錯誤,但是,logstash 不會將日志傳遞給彈性搜索,我想知道這是聲明來源的正確方法嗎? 我嘗試在輸入部分使用絕對,它就像一個魅力,所以我認為問題出在輸入 filebeat 或 logs ...
[英]Logstash filter according to fields source declare in filebeat config
我想使用字段源和在 filebeat 輸入中聲明的字段分離日志文件,因為從 kibana 端,日志的源是訪問/錯誤,但是,logstash 不會將日志傳遞給彈性搜索,我想知道這是聲明來源的正確方法嗎? 我嘗試在輸入部分使用絕對,它就像一個魅力,所以我認為問題出在輸入 filebeat 或 logs ...
[英]Regex (grok) - create general pattern for log which occurs but don't have to
很抱歉主題標題神秘,但我不知道如何正確放置。 這些是日志類型: 這是我的 grok 模式: 我想要做的是將連字符(所以- client IP )后的日志轉發到kv過濾器。 我的問題是 - 這種類型的日志並不總是出現,所以我想包裝整個 grok 模式,所以它匹配直到%{GREEDYDATA:messa ...
[英]Logstash configuration not compiling
我在多個服務器/應用程序上使用 filebeat,這些服務器/應用程序都提供給 logstash,我想使用 logstash 配置來解析一種特定類型的日志並應用 grok 模式,同時像往常一樣處理 rest。 這就是我所擁有的,但它不起作用。 我在 kibana grok 調試器中測試了模式並且它在 ...
[英]Grok pattern optimisation in logstash
早些時候我只有一種類型的索引日志,但最近我改變了日志模式。 現在我的神交模式看起來像 樣本日志是 Logstash 必須在 5 分鍾內為這個索引處理大約 150000 個事件,並且大約。 索引的 400000 個事件。 現在每當我嘗試更改 grok 時,logstash 服務器的 CPU 使用率都 ...
[英]Exception. Not retrying {:exception=>#<Java::OrgPostgresqlUtil::PSQLException: ERROR: syntax error at or near "%"
我想將我的 CSV 文件添加到 postgreSQL。但每當我嘗試連接它時顯示錯誤: [錯誤][logstash.outputs.jdbc ][main][a4f714a30e2d2cae8e83b3c2d215c3537fe40dca0495ca92cc2f50a93ba8088a] JDB ...
[英]Logstash Grok Pattern that matches after 7th character only
我想用 grok 模式解析我的日志。 這是我的示例日志文件,其中包含 7 |*| 每個日志中的字符。 2022-12-15 01:11:22|*|639a7439798a26.27827512|*|5369168485-532|*|3622857|*|app.DEBUG|*|Checking the ...
[英]LogStash Conf | Drop Empty Lines
LogStash 的conf文件的內容如下所示:input { beats { port => 5044 } file { path => "/usr/share/logstash/iway_logs/*" ...
[英]How to parse log with "dynamically" double quotes
我有類似於以下日志 雙引號內的值應該在同一個字段上所以我會得到類似的東西 但是,如果值為空或只有一個值,則雙引號不會像這樣出現: 然后,如果我像這樣放置我的解剖/神交: 它會返回: 如果我把我的 dissect/grok 放在: 它會起作用,但是一旦該值為空或具有我上面提到的單個值,它將返回_gro ...
[英]Logstash ConfigurationError - Expect character
我有這個模式在https://grokconstructor.appspot.com上正確匹配: 當我使用此過濾器配置 logstash 時: 我收到此錯誤: 無法執行操作 {:action=>LogStash::PipelineAction::Create/pipeline_id:main, ...
[英]Logstash Grok regex expression works fine alone but doesn't work when grouped with other grok expressions
當單獨與匹配字符串一起使用時,我的 grok 表達式工作正常,但是當我將此 grok 表達式與其他 grok 表達式一起使用以捕獲日志行中也存在的其他數據時,它與相同的匹配字符串不匹配。 案例 1:下面的 grok 表達式在針對下面的日志字符串單獨運行時工作正常,並且值在字段targetMessag ...
[英]How do I make this regular expression work?
我正在創建自己的 ELK 儀表板來監控我的財務狀況。 今年我完全被淘汰了,這是很多事情的結合,但很可能只是財政責任不佳。 反正; 我是正則表達式新手,對此我很難過。 有沒有辦法快速匹配帶有許多尾隨和前導空格的字符串? 這是我的角色: 這是我在 regexr.com 中嘗試的內容 (?<acc ...
[英]ECS-Compatiblity mode requires a `target` when `source` is not an `ip` sub-field, eg. [client][ip]
我試圖在我的 openvpn 服務器上實施 logstash,但出現以下錯誤: 我的 logstash 文件如下所示,這是我從這個要點https://gist.github.com/soulsearcher/68fa902298e59dc4d70696862244e778 中獲取的: 我正在使用 ...
[英]Logstash pipeline optimization
我們將 .netscaler 設備系統日志發送到我們的 ELK 堆棧,並使用從我們端創建的自定義管道對其進行解析。 雖然我們能夠實現管道配置的預期目標,但我們注意到我們的攝取節點出現性能問題,隨后在 logstash 中排隊數據,這反過來導致我們的 ELK Stack 的整體性能出現問題。 當我們將 ...
[英]Grok pattern to extract specific data only from log
我正在嘗試使用 datadog 中的 grok 解析規則從 postgresql 日志中提取一些特定數據。 我正在嘗試從下面的日志中提取 json 格式的以下內容 我試圖從中提取上述信息的日志 到目前為止我所嘗試和取得的成就到目前為止,這是我在泛化方面所做的嘗試,它應該適用於所有日志,但這沒有給我 ...
[英]Grok Pattern to Parse Multiple loglines
我有 3 行不同結構的日志。 我正在嘗試構建一個 grok 模式來過濾日志。 我期待: 時間戳:日志級別:消息: 我的 grok 模式不匹配任何內容: \[%{TIMESTAMP_ISO8601:timestamp}\]\:%{LOGLEVEL:loglevel}%{WORD: class} %{S ...
[英]Logstash Grok filter add local hostname
我有一個 4 實例 Nagios Log Server 集群,可以處理來自多個服務器的日志。 我希望日志條目具有處理它的日志服務器的名稱。 我一直在查看“add_field”並試圖讓一些東西工作,它采用本地處理日志服務器的名稱並將其添加為一個名為“processingLogServer”的字段; ...
[英]Grok pattern - sometimes nesting bracket
我有一個困難的日志。 因為有時我有嵌套括號,有時我沒有。 如何在 grok 中解析它。 請幫忙 ...
[英]Logstash MySQL combine multiple rows?
使用logstash 數據 我想使用 logstash 過濾器合並兩個 arrays 結果 我應該如何編寫它以獲得所需的結果? 在此先感謝您的幫助。 ...
[英]Logstash - Grok Syntax Issues
我正在使用 filebeat 將日志發送到 logstash,但我在 Logstash 上遇到了 grok 語法問題。 我在 Kibanna 和 manager 上使用了 grok 調試器來解決問題。 問題是我找不到與 Logstash 相同的語法。 原始日志:{"log":"188.188.188 ...
[英]what is the reason for this logstash error("error"=>{"type"=>"illegal_argument_exception", "reason"=>"mapper)
下面是我的 filebeat 配置,我添加了一個 logId: 以下是我的logstash conf的output部分: 我把一些日志文件放在路徑(10個文件)中,我在logstash-plain.log中隨機得到這個錯誤: 還有這個: 有誰能夠幫我? ...