Logstash 中的錯誤配置 - Windows 11

[英]Bad configuration in Logstash - Windows 11

我嘗試使用跟蹤列執行輸入 jdbc oracle，但不起作用，需要其他信息嗎？ 像 file.conf 等？ ...

Logstash 未將 Null 值插入 Postgresql

[英]Null value not inserted in Postgresql by Logstash

我正在嘗試將數據從 Elasticsearch 插入到 postgresql。它在 postgresql 中插入數據但沒有正確處理空白值。 當我試圖在 postgresql 中插入黑色值時，它填充了語句的變量名。 它是postgresql中的output：在此處輸入圖像描述這是我的配置文件 ...

例外。 不重試 {:exception=># <java::orgpostgresqlutil::psqlexception: error: syntax error at or near "%"< div><div id="text_translate"><p> 我想將我的 CSV 文件添加到 postgreSQL。但每當我嘗試連接它時顯示錯誤：</p><blockquote><p> [錯誤][logstash.outputs.jdbc<br> ][main][a4f714a30e2d2cae8e83b3c2d215c3537fe40dca0495ca92cc2f50a93ba8088a] JDBC - 異常。 不重試 {:exception=>#<Java::OrgPostgresqlUtil::PSQLException: ERROR: syntax error at or near "%"</p></blockquote><p> 這是我的 Config.conf 文件：</p><pre> input { file { path => "C:/Users/Desktop/InputData12.csv" start_position => "beginning" codec => plain } } filter { csv { separator => "," columns => ["inputdata","metric","source_table","output_column_alias","method"] } } output { jdbc { connection_string => "jdbc:postgresql://hostname:5432/database" username => "username" password => "password" driver_jar_path => "C:/Users/Downloads/lib/postgresql-42.5.1.jar" driver_class => "org.postgresql.Driver" statement => "INSERT INTO csv_to_postgresql (inputdata,metric,source_table,output_column_alias,method) VALUES (%{inputdata},%{metric},%{source_table},%{output_column_alias},%{method})" } }</pre></div></java::orgpostgresqlutil::psqlexception:>

[英]Exception. Not retrying {:exception=>#<Java::OrgPostgresqlUtil::PSQLException: ERROR: syntax error at or near "%"

我想將我的 CSV 文件添加到 postgreSQL。但每當我嘗試連接它時顯示錯誤： [錯誤][logstash.outputs.jdbc ][main][a4f714a30e2d2cae8e83b3c2d215c3537fe40dca0495ca92cc2f50a93ba8088a] JDB ...

[錯誤][logstash.outputs.jdbc] jdbc 的未知設置 'driver_library'

[英][ERROR][logstash.outputs.jdbc ] Unknown setting 'driver_library' for jdbc

我想將我的 CSV 文件添加到 postgreSQL。但是每當我嘗試連接它時顯示錯誤：[ERROR][logstash.outputs.jdbc] Unknown setting 'driver_library' for jdbc 它是我的 Config.conf 文件 ...

Logstash：從 mysql 獲取時間戳不起作用，將其轉換為字符串是否有效？

[英]Logstash : Get timestamp from mysql doesn't work, convert it to string it work?

我正在使用此 conf 文件覆蓋 ElasticSearch 中的 @timestamp 字段，但我自動獲得了一個_dateparsefailure標志： 請注意，無論是否使用 grok 過濾器，我都會得到相同的結果。 結果： 但是當我用這個 conf 提取時間戳時： 然后它給了我預期的結果： 誰 ...

Logstash 管道推送數據而不將其轉換為 Elasticsearch

[英]Logstash pipeline pushing the data without transforming it to Elasticsearch

我正在使用帶有 ELK 堆棧（Elastic、Logstash、Kibana）的 docker-compose 文件。 docker-compose.yml文件非常簡單：version: '3.8' services: elasticsearch: image: docker.el ...

將 Logstash 設置為服務

[英]Setting up Logstash as a service

我用 tar.gz package 安裝了 logstash。 我想作為服務運行，以便系統重新啟動時logstash可以自動運行。 目前它適用於手動命令sudo /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/Logstash_Con ...

如何在沒有類型字段的單個管道中切換多個 jdbc 輸入？

[英]How to switch multiple jdbc inputs in a single pipeline without type fields?

我知道我可以做這樣的事情： 但正如jdbc 輸入插件的官方文檔所說： 如果您嘗試為已經有類型的事件設置類型（例如，當您將事件從發貨人發送到索引器時），則新輸入不會覆蓋現有類型。 即使發送到另一個 Logstash 服務器，在托運人處設置的類型也會在其生命周期內與該事件保持一致。 就我自己的嘗試而言 ...

JDBC Logstash 彈性 Kibana

[英]JDBC Logstash Elastic Kibana

我正在使用 JDBC 輸入插件將數據從 mongodb 提取到 ElasticSearch。我的配置是： 在 Kibana 中，我只看到一次點擊enter image description here ，但在 stdout 中，我看到許多來自 mongodb 集合的記錄。 我該怎么辦，才能看到他們 ...

logstash JDBC 是否在外部源上輸入了“last_run_metadata_path”？

[英]Have logstash JDBC input `last_run_metadata_path` on an external source?

我們希望在實例具有短暫生命周期的 ECS 環境中運行 logstash。 它們可能壽命很長，但它們不是永久的。 因此，如果實例被刪除然后再次啟動，那么讓 logstash 將sql_last_value存儲在last_run_metadata_path中將不起作用。 這種狀態會丟失。 有沒有辦法從 ...

通過 Logstash 上的 SSH 隧道連接 - 彈性雲

[英]Connect through SSH tunnel on Logstash - Elastic cloud

我嘗試在我們的彈性雲集群上使用 logstash 連接到我的 MySQL 服務器，問題是我們在 sql 服務器上使用 SSH 隧道。 有沒有辦法，使用彈性雲上的logstash管道創建界面，使用SSH隧道連接到mysql服務器？ 界面如下，參數不多。。 ...

如何使用日志存儲在更短的時間內將大量數據從數據庫表推送到彈性搜索

[英]how to push huge data in less time from Database table to Elastic search using log stash

我正在使用 Logstash 將 Postgres 數據庫中的 500 000 條記錄處理為彈性數據，但完成該過程需要 40 分鍾。 我想減少處理時間，我已經更改了 pipeline.batch.size: 1000, pipeline.batch.delay: 50 在 logstash.yml ...

ELK 堆棧中的問題

[英]Issue in ELK stack

我正在使用 ELK 堆棧 7.15.2 jdk-11.0.12 jre1.8.0_311 C:\\ELK Stack\\logstash-7.15.2&gt; 我正在嘗試與 MySQL 服務器通信 遇到此問題請幫助ComMicrosoftSqlserverJdbc::SQLServerExc ...

來自 Oracle DB 的連接錯誤 - Logstash

[英]Connection error from Oracle DB - Logstash

有沒有人在從 Logstash JDBC Input Plugin 連接到 Oracle DB 時遇到過這個問題： 我能夠通過 SQL 開發人員使用相同的憑據和連接詳細信息進行連接。 這是我的 Logstash JDBC 輸入： 我的 Oracle 版本是 19.3 和 Logstash- ...

為什么設置映射后，索引什么也不返回？

[英]Why after set mapping, index return nothing?

我在 Windows 10 x64 上使用 Elasticsearch 7.12.0、Logstash 7.12.0、Kibana 7.12.0。 Logstash 配置文件logistics.conf 運行logstash 如果我沒有明確設置映射，則查詢 返回許多結果。 我的映射 運行查詢 什 ...

Logstash:sql_last_value 顯示錯誤的垃圾日期（顯示 6 個月的舊日期作為上次運行時間）

[英]Logstash :sql_last_value is showing wrong junk date (Showing 6 month's old date as last run time)

我觀察到非常奇怪的問題我正在使用 logstash + jdbc 將數據從 Oracle db 加載到 Elasticsearch 下面是我的配置文件的樣子 現在，我在 2021 年 3 月 8 日的今天每分鍾觸發一次此文件。當我第一次加載時，一切正常 - :sql_last_value 為 '1 ...

Logstash JDBC last_run 元數據文件未更新

[英]Logstash JDBC last_run metadata file not updating

我們在 linux 中使用 logstash 來執行我們的作業的初始運行，然后為我們擁有的每個 JDBC 輸入創建 last_run 元數據文件。 這很好用，但我們注意到上次運行的元數據文件是使用root的所有者和root的組關聯創建的。 配置文件通過 SSH 執行到名為 logstash 的用戶下 ...

日志存儲未加載 Elasticsearch 中的確切記錄數，並且每次命中結果都在不斷變化

[英]Log stash not loading exact number of records in Elasticsearch and on every hit results are keep changing

問題陳述：Logstash 沒有正確地將數據庫中的所有記錄加載到 elasticsearch 並且每次我點擊相同的 api 時都會得到不同的結果（但有時是正確的，但每次點擊都會發生變化，並且僅在稱呼嵌套字段下顯示記錄的子集）。 logstash 機制看起來很零散，加載結果並不一致，尤其是在一對多場 ...

logstash 的 JDBC 輸入插件可以做多個 sql 任務嗎？

[英]Can logstash's JDBC input plugin do multiple sql tasks?

現在有一個從數據庫讀取的 JDBC 任務 /usr/share/logstash/pipeline/sql/select_posts.sql 當body項涉及非常大的數據時，此任務很重。 所以我想在第一次搜索時將其刪除： 然后獲取 ID 並使用它們再次查找body 。 設置為 output 目標 ...

如何獲得多條記錄？

[英]How to get more than one record?

我正在使用帶有 logstash 的 JDBC 從 PostgreSQL 查詢中獲取數據並將其導出到 ES v7，這里是配置文件： 從數據庫中只獲取1條記錄需要很多時間！ 我嘗試了一些解決方案，比如顯式定義映射，所以我為數據添加了一個映射，如下所示： 這是獲得的唯一記錄： ...