cost 286 ms
根據 filebeat 配置中聲明的字段源進行 Logstash 過濾

[英]Logstash filter according to fields source declare in filebeat config

我想使用字段源和在 filebeat 輸入中聲明的字段分離日志文件,因為從 kibana 端,日志的源是訪問/錯誤,但是,logstash 不會將日志傳遞給彈性搜索,我想知道這是聲明來源的正確方法嗎? 我嘗試在輸入部分使用絕對,它就像一個魅力,所以我認為問題出在輸入 filebeat 或 logs ...

正則表達式 (grok) - 為發生但不必發生的日志創建通用模式

[英]Regex (grok) - create general pattern for log which occurs but don't have to

很抱歉主題標題神秘,但我不知道如何正確放置。 這些是日志類型: 這是我的 grok 模式: 我想要做的是將連字符(所以- client IP )后的日志轉發到kv過濾器。 我的問題是 - 這種類型的日志並不總是出現,所以我想包裝整個 grok 模式,所以它匹配直到%{GREEDYDATA:messa ...

Logstash 配置未編譯

[英]Logstash configuration not compiling

我在多個服務器/應用程序上使用 filebeat,這些服務器/應用程序都提供給 logstash,我想使用 logstash 配置來解析一種特定類型的日志並應用 grok 模式,同時像往常一樣處理 rest。 這就是我所擁有的,但它不起作用。 我在 kibana grok 調試器中測試了模式並且它在 ...

logstash 中的 Grok 模式優化

[英]Grok pattern optimisation in logstash

早些時候我只有一種類型的索引日志,但最近我改變了日志模式。 現在我的神交模式看起來像 樣本日志是 Logstash 必須在 5 分鍾內為這個索引處理大約 150000 個事件,並且大約。 索引的 400000 個事件。 現在每當我嘗試更改 grok 時,logstash 服務器的 CPU 使用率都 ...

例外。 不重試 {:exception=># <java::orgpostgresqlutil::psqlexception: error: syntax error at or near "%"< div><div id="text_translate"><p> 我想將我的 CSV 文件添加到 postgreSQL。但每當我嘗試連接它時顯示錯誤:</p><blockquote><p> [錯誤][logstash.outputs.jdbc<br> ][main][a4f714a30e2d2cae8e83b3c2d215c3537fe40dca0495ca92cc2f50a93ba8088a] JDBC - 異常。 不重試 {:exception=>#<Java::OrgPostgresqlUtil::PSQLException: ERROR: syntax error at or near "%"</p></blockquote><p> 這是我的 Config.conf 文件:</p><pre> input { file { path => "C:/Users/Desktop/InputData12.csv" start_position => "beginning" codec => plain } } filter { csv { separator => "," columns => ["inputdata","metric","source_table","output_column_alias","method"] } } output { jdbc { connection_string => "jdbc:postgresql://hostname:5432/database" username => "username" password => "password" driver_jar_path => "C:/Users/Downloads/lib/postgresql-42.5.1.jar" driver_class => "org.postgresql.Driver" statement => "INSERT INTO csv_to_postgresql (inputdata,metric,source_table,output_column_alias,method) VALUES (%{inputdata},%{metric},%{source_table},%{output_column_alias},%{method})" } }</pre></div></java::orgpostgresqlutil::psqlexception:>

[英]Exception. Not retrying {:exception=>#<Java::OrgPostgresqlUtil::PSQLException: ERROR: syntax error at or near "%"

我想將我的 CSV 文件添加到 postgreSQL。但每當我嘗試連接它時顯示錯誤: [錯誤][logstash.outputs.jdbc ][main][a4f714a30e2d2cae8e83b3c2d215c3537fe40dca0495ca92cc2f50a93ba8088a] JDB ...

如何用“動態”雙引號解析日志

[英]How to parse log with "dynamically" double quotes

我有類似於以下日志 雙引號內的值應該在同一個字段上所以我會得到類似的東西 但是,如果值為空或只有一個值,則雙引號不會像這樣出現: 然后,如果我像這樣放置我的解剖/神交: 它會返回: 如果我把我的 dissect/grok 放在: 它會起作用,但是一旦該值為空或具有我上面提到的單個值,它將返回_gro ...

Logstash ConfigurationError - 預期字符

[英]Logstash ConfigurationError - Expect character

我有這個模式在https://grokconstructor.appspot.com上正確匹配: 當我使用此過濾器配置 logstash 時: 我收到此錯誤: 無法執行操作 {:action=&gt;LogStash::PipelineAction::Create/pipeline_id:main, ...

Logstash Grok 正則表達式單獨運行良好,但與其他 grok 表達式組合時不起作用

[英]Logstash Grok regex expression works fine alone but doesn't work when grouped with other grok expressions

當單獨與匹配字符串一起使用時,我的 grok 表達式工作正常,但是當我將此 grok 表達式與其他 grok 表達式一起使用以捕獲日志行中也存在的其他數據時,它與相同的匹配字符串不匹配。 案例 1:下面的 grok 表達式在針對下面的日志字符串單獨運行時工作正常,並且值在字段targetMessag ...

如何使這個正則表達式起作用?

[英]How do I make this regular expression work?

我正在創建自己的 ELK 儀表板來監控我的財務狀況。 今年我完全被淘汰了,這是很多事情的結合,但很可能只是財政責任不佳。 反正; 我是正則表達式新手,對此我很難過。 有沒有辦法快速匹配帶有許多尾隨和前導空格的字符串? 這是我的角色: 這是我在 regexr.com 中嘗試的內容 (?&lt;acc ...

當 source 不是 ip 子字段時,ECS 兼容模式需要一個 target,例如。 [客戶端][ip]

[英]ECS-Compatiblity mode requires a `target` when `source` is not an `ip` sub-field, eg. [client][ip]

我試圖在我的 openvpn 服務器上實施 logstash,但出現以下錯誤: 我的 logstash 文件如下所示,這是我從這個要點https://gist.github.com/soulsearcher/68fa902298e59dc4d70696862244e778 中獲取的: 我正在使用 ...

Logstash 管道優化

[英]Logstash pipeline optimization

我們將 .netscaler 設備系統日志發送到我們的 ELK 堆棧,並使用從我們端創建的自定義管道對其進行解析。 雖然我們能夠實現管道配置的預期目標,但我們注意到我們的攝取節點出現性能問題,隨后在 logstash 中排隊數據,這反過來導致我們的 ELK Stack 的整體性能出現問題。 當我們將 ...

僅從日志中提取特定數據的 Grok 模式

[英]Grok pattern to extract specific data only from log

我正在嘗試使用 datadog 中的 grok 解析規則從 postgresql 日志中提取一些特定數據。 我正在嘗試從下面的日志中提取 json 格式的以下內容 我試圖從中提取上述信息的日志 到目前為止我所嘗試和取得的成就到目前為止,這是我在泛化方面所做的嘗試,它應該適用於所有日志,但這沒有給我 ...

解析多個日志行的 Grok 模式

[英]Grok Pattern to Parse Multiple loglines

我有 3 行不同結構的日志。 我正在嘗試構建一個 grok 模式來過濾日志。 我期待: 時間戳:日志級別:消息: 我的 grok 模式不匹配任何內容: \[%{TIMESTAMP_ISO8601:timestamp}\]\:%{LOGLEVEL:loglevel}%{WORD: class} %{S ...

Logstash Grok 過濾器添加本地主機名

[英]Logstash Grok filter add local hostname

我有一個 4 實例 Nagios Log Server 集群,可以處理來自多個服務器的日志。 我希望日志條目具有處理它的日志服務器的名稱。 我一直在查看“add_field”並試圖讓一些東西工作,它采用本地處理日志服務器的名稱並將其添加為一個名為“processingLogServer”的字段; ...

Logstash - Grok 語法問題

[英]Logstash - Grok Syntax Issues

我正在使用 filebeat 將日志發送到 logstash,但我在 Logstash 上遇到了 grok 語法問題。 我在 Kibanna 和 manager 上使用了 grok 調試器來解決問題。 問題是我找不到與 Logstash 相同的語法。 原始日志:{"log":"188.188.188 ...

這個logstash錯誤的原因是什么(“error”=&gt;{“type”=&gt;“illegal_argument_exception”,“reason”=&gt;“mapper)

[英]what is the reason for this logstash error("error"=>{"type"=>"illegal_argument_exception", "reason"=>"mapper)

下面是我的 filebeat 配置,我添加了一個 logId: 以下是我的logstash conf的output部分: 我把一些日志文件放在路徑(10個文件)中,我在logstash-plain.log中隨機得到這個錯誤: 還有這個: 有誰能夠幫我? ...


 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM