標簽[logstash-configuration] - 堆棧內存溢出

[英]Bad configuration in Logstash - Windows 11

我嘗試使用跟蹤列執行輸入 jdbc oracle，但不起作用，需要其他信息嗎？像 file.conf 等？ ...

[英]Logstash configuration not compiling

我在多個服務器/應用程序上使用 filebeat，這些服務器/應用程序都提供給 logstash，我想使用 logstash 配置來解析一種特定類型的日志並應用 grok 模式，同時像往常一樣處理 rest。這就是我所擁有的，但它不起作用。我在 kibana grok 調試器中測試了模式並且它在 ...

啟動時的 logstash 問題（在 kube.netes pod 中）

[英]logstash issue on starting (in kubernetes pod)

我通過 kube.netes Pod 在容器中啟動了一個 logstash 服務，我自願更改了配置以查看行為。現在，服務的配置文件不是但然后，當我啟動容器時，日志是：所以參考elasticsearch1然后突然參考elasticsearch 為什么？ ...

Logstash 未將 Null 值插入 Postgresql

[英]Null value not inserted in Postgresql by Logstash

我正在嘗試將數據從 Elasticsearch 插入到 postgresql。它在 postgresql 中插入數據但沒有正確處理空白值。當我試圖在 postgresql 中插入黑色值時，它填充了語句的變量名。它是postgresql中的output：在此處輸入圖像描述這是我的配置文件 ...

LogStash - 無法執行操作

[英]LogStash - Failed to execute action

我正在嘗試運行 LogStash，但它接縫表明 logstash 在執行步驟時失敗了。有什么幫助嗎？日志跟蹤：[2023-01-04T07:04:02,977][錯誤][logstash.agent] 無法執行操作 {:action=>LogStash::PipelineAction::C ...

例外。不重試 {:exception=># <java::orgpostgresqlutil::psqlexception: error: syntax error at or near "%"< div><div id="text_translate"><p> 我想將我的 CSV 文件添加到 postgreSQL。但每當我嘗試連接它時顯示錯誤：</p><blockquote><p> [錯誤][logstash.outputs.jdbc<br> ][main][a4f714a30e2d2cae8e83b3c2d215c3537fe40dca0495ca92cc2f50a93ba8088a] JDBC - 異常。不重試 {:exception=>#<Java::OrgPostgresqlUtil::PSQLException: ERROR: syntax error at or near "%"</p></blockquote><p> 這是我的 Config.conf 文件：</p><pre> input { file { path => "C:/Users/Desktop/InputData12.csv" start_position => "beginning" codec => plain } } filter { csv { separator => "," columns => ["inputdata","metric","source_table","output_column_alias","method"] } } output { jdbc { connection_string => "jdbc:postgresql://hostname:5432/database" username => "username" password => "password" driver_jar_path => "C:/Users/Downloads/lib/postgresql-42.5.1.jar" driver_class => "org.postgresql.Driver" statement => "INSERT INTO csv_to_postgresql (inputdata,metric,source_table,output_column_alias,method) VALUES (%{inputdata},%{metric},%{source_table},%{output_column_alias},%{method})" } }</pre></div></java::orgpostgresqlutil::psqlexception:>

[英]Exception. Not retrying {:exception=>#<Java::OrgPostgresqlUtil::PSQLException: ERROR: syntax error at or near "%"

我想將我的 CSV 文件添加到 postgreSQL。但每當我嘗試連接它時顯示錯誤： [錯誤][logstash.outputs.jdbc ][main][a4f714a30e2d2cae8e83b3c2d215c3537fe40dca0495ca92cc2f50a93ba8088a] JDB ...

[錯誤][logstash.outputs.jdbc] jdbc 的未知設置 'driver_library'

[英][ERROR][logstash.outputs.jdbc ] Unknown setting 'driver_library' for jdbc

我想將我的 CSV 文件添加到 postgreSQL。但是每當我嘗試連接它時顯示錯誤：[ERROR][logstash.outputs.jdbc] Unknown setting 'driver_library' for jdbc 它是我的 Config.conf 文件 ...

Logstash 無法連接到啟用了 Xpack 的彈性搜索集群

[英]Logstash cannot connect to the elastic search cluster with Xpack enabled

我遇到的困難是Logstash無法連接到啟用了Xpack的Elasticsearch集群。這是一個至少由四個node節點組成的Elasticsearch集群，啟用了xpack。我為這個集群的transport.ssl設置了一個新的證書，並在配置文件中應用。在上面的截圖中，在集群中啟用 xpa ...

LogStash 大會 | 刪除空行

[英]LogStash Conf | Drop Empty Lines

LogStash 的conf文件的內容如下所示：input { beats { port => 5044 } file { path => "/usr/share/logstash/iway_logs/*" ...

如何正確地將 opensearch 配置為 logstash output，出現主機無法訪問錯誤

[英]How do I configure opensearch as a logstash output properly, I am getting a host unreachable error

所以我目前連接到一個 contabo 托管的 kube.netes 集群。在那里我運行了 kafka 和 opensearch/opensearch 儀表板部署。我正在嘗試運行 logstash，以便我可以從 kafka 主題獲取數據到 opensearch， https://hub.docke ...

Logstash Grok 正則表達式單獨運行良好，但與其他 grok 表達式組合時不起作用

[英]Logstash Grok regex expression works fine alone but doesn't work when grouped with other grok expressions

當單獨與匹配字符串一起使用時，我的 grok 表達式工作正常，但是當我將此 grok 表達式與其他 grok 表達式一起使用以捕獲日志行中也存在的其他數據時，它與相同的匹配字符串不匹配。案例 1：下面的 grok 表達式在針對下面的日志字符串單獨運行時工作正常，並且值在字段targetMessag ...

當 source 不是 ip 子字段時，ECS 兼容模式需要一個 target，例如。 [客戶端][ip]

[英]ECS-Compatiblity mode requires a `target` when `source` is not an `ip` sub-field, eg. [client][ip]

我試圖在我的 openvpn 服務器上實施 logstash，但出現以下錯誤：我的 logstash 文件如下所示，這是我從這個要點https://gist.github.com/soulsearcher/68fa902298e59dc4d70696862244e778 中獲取的：我正在使用 ...

解析多個日志行的 Grok 模式

[英]Grok Pattern to Parse Multiple loglines

我有 3 行不同結構的日志。我正在嘗試構建一個 grok 模式來過濾日志。我期待：時間戳：日志級別：消息：我的 grok 模式不匹配任何內容： \[%{TIMESTAMP_ISO8601:timestamp}\]\:%{LOGLEVEL:loglevel}%{WORD: class} %{S ...

使用 Gelf 將 Docker 日志發送到本地安裝的 ELK 的配置

[英]Configuration for sending Docker logs to a locally installed ELK using Gelf

我將我的 ELK 部署在一個 ec2 實例上，並在另一個實例上運行了一個 dockerized 應用程序。我正在嘗試使用 gelf 來收集不同的服務日志並發送到 logstash。但是我當前的配置不起作用。這是我的 docker.yaml 文件和我的 logstash conf 文件。對於g ...

如何刪除 logstash 為 syslog output 插件添加的額外時間戳

[英]How to remove extra timestamp added by logstash for syslog output plugin

我正在使用 logstash 管道將數據提取到 rsyslog 服務器中。但是管道在開始時添加了額外的時間戳。示例消息： 9 月 22 日 04:47:20 22-09-2022 05:47:20.875 a7bd0ebd9101-SLOT0 TEST-AWS-ACTIVITY #011970 ...

Logstash 管道在 rsyslog 消息的開頭添加了額外的時間戳%{host}

[英]Logstash pipeline adding extra timestamp%{host} in beginning of rsyslog message

我正在使用 logstash 管道將數據攝取到 rsyslog 服務器中。但是管道在開頭添加了額外的日期戳和 %{host} 例子：誰能告訴這個額外的部分來自哪里以及如何抑制它。數據來自安裝在 ECS 容器上的 AWS cloudwatch。管道配置為： ...

Logstash S3 output 前綴 - 事件日期字段值

[英]Logstash S3 output prefix - event date field value

如何使用以下格式的事件字段值動態設置 Logstash S3 output 前綴：“%{+YYYY}/%{+MM}/%{+dd}/%{+HH}”？ ...

Logstash Kafka Input, Logstash worker ordering in data消費

[英]Logstash Kafka Input , Logstash worker ordering in data consumption

我已將 Logstash 用於 Kafka 到 Elastic 搜索同步。輸入主題有 8 個分區，我使用 consumer_threads=8 來並行消費 Kafka 主題。輸入 { kafka { bootstrap_servers => "bootstrapServer" 主題 =&g ...

如何在 logstash kafka 輸入中獲取自定義鍵值？

[英]How to get custom key value in the logstash kafka input?

在我的制作人中，我在標題中添加了一些自定義鍵。使用 logstash 我需要獲取有效負載，此外我需要讀取我的密鑰的值。生產者代碼： Logstash 配置我無法讀取我的自定義密鑰。我錯過了配置中的任何內容嗎？ ...

MYSQL 到 Elasticsearch 通過 Logstash 問題：不兼容的編碼：CP850 和 UTF-8

[英]MYSQL to Elasticsearch via Logstash Problem: incompatible encodings: CP850 and UTF-8

我正在使用帶有 ES 版本 8.4.0 的 docker-compose 的麋鹿堆棧我的目標是使用 Logstash 將整個表從我的 MYSQL DB 復制到 ES。連接正常，Logstash 復制了大約 30 個條目，沒有任何問題。但后來我收到一條很長的錯誤消息。 [2022-09-10T ...