![](/img/trans.png)
[英]Sync data from two mysql tables with single Elasticsearch Index using Logstash
[英]Logstash mysql database data not loading to elasticsearch index
我整晚都在努力,這讓我發瘋。 它應該很簡單,但是無法正常工作。 這適用於Oracle,但不適用於MySQL,我創建了類似的db.config,使用-f選項將其送入logstash。
input {
jdbc {
jdbc_driver_library => "/opt/elk/logstash-5.6.0/lib/mysql-connector-java-5.1.45-bin.jar"
jdbc_driver_class => "Java::com.mysql.jdbc.Driver"
jdbc_connection_string => "jdbc:mysql://serverName:3306/dbName?verifyServerCertificate=false&useSSL=true"
jdbc_user => "userName"
jdbc_password => "PasswordValue"
statement => "select user_id, visitor_returning, config_os, visitor_days_since_last from visiting_table where user_id is not null"
#optional extras I use
type => "visit"
tags => ["awesome", "import"]
}
}
輸出{stdout {編解碼器=> json_lines}
if [type] == "visit"{
elasticsearch{
hosts => "127.0.0.1"
index => "visitDb"
document_type => "visit_results"
}
}
stdout{}
}
一旦我運行了logstash,它就不會將數據加載到Elastic搜索索引中。 執行以下操作時,甚至看不到名為visitDb的索引。
curl'本地主機:9200 / _cat / indices?v'
health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
黃色打開.kibana Fg6P7XuHSTaonbKEbLcz5A 1 1 21 3 56.5kb 56.5kb黃色打開orderstotdb obxZ38prTFCG0W-BFTIhgw 5 1 60 0 245.4kb 245.4kb y
我無法弄清楚MySQL發生了什么。 我可以看到控制台日志以json格式檢索數據並將其寫入控制台,但是索引不會反映在ElasticSearch中,也不會顯示在Kibana中以創建索引模式。
有人可以幫忙嗎??
萬一其他人遇到同樣的問題,請回答我自己的問題。 Elastic Search拒絕使用大寫字母的索引名稱,因為我用D大寫字母命名了visitDb,所以它拒絕創建索引名稱,請去圖:)調試不同選項所浪費的時間。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.