如何在不使用 Kibana 的情況下直接從 elasticsearch 讀取日志

Question

I have a ASP.NET Core Web API written in C# with docker-compose, elasticsearch, and serilog and Kibana. 我計划從 docker-compose.yml 文件中刪除 Kibana。 一旦 Serilog 生成日志文件並在將接收器配置到 Elasticsearch 之后，它就可以將日志寫入 elasticsearch 可以讀取的位置。 我如何 go 關於閱讀現在在 elasticsearch 中的那些日志，而不必 go 到 Kibana 來查看日志並閱讀它們？

對此文檔和/或 package 是否有任何建議，或者這是否需要從頭開始編程？

---

建議嘗試：

我去下載卡夫卡然后我去 powershell 作為管理員並做了一個wget (url) 。 下載后，我運行tar -xzf kafka_2.13-2.8.0.tgz & cd kafka_2.13-2.8.0 。 然后我按照您的建議激活 Zookeeper 代理和 Kafka，然后創建主題。 但是，當您說要執行的每個步驟時，什么都沒有發生。 我會嘗試激活 Zookeeper，它會告訴我如何打開文件，所以我只需按 ESC，然后運行其他命令，但會出現同樣的情況。 這應該這樣做嗎？

Answer 1

使用 log4net 作為日志提供，它是Kafka_Appender 。這個附加器將在每個級別生成您的操作日志到主題，然后 Logstash 會將這些日志作為 output 攝取到您的彈性索引中。

There are many privileges in this roadmap, You have supper powerful stream processor like Apache Kafka and its queue based messaging help you to always trace every logs that it produce an other one is Logstash which you can even add more stream processor and filter like grok and有多個輸出，甚至將您的日志存儲為 Csv 或文件系統。

首先激活 Zookeeper 和 Kafka 代理，並在下載的 Kafka 文件的 bin 目錄中創建一個具有一些主題名稱的消費者：

激活 Zookeeper 代理

./zookeeper-server-start.sh ../config/zookeeper.properties

激活 Kafka 代理

./kafka-server-start.sh ../config/server.properties

創建主題

./kafka-topics.sh --create --topic test-topic -zookeeper localhost:2181 --replication-factor 1 --partitions 4

已創建主題的活躍消費者

./kafka-console-producer.sh --broker-list localhost:9092 --topic test-topic

然后為創建的主題添加日志附加器以使用日志（這個由您決定），然后創建一個 Logstash 管道，如下面的配置

 input { kafka{ group_id => "35834" topics => ["yourtopicname"] bootstrap_servers => "localhost:9092" codec => json } } filter { } output { file { path => "C:\somedirectory" } elasticsearch { hosts => ["localhost:9200"] document_type => "_doc" index => "yourindexname" } stdout { codec => rubydebug } }

並在logstash的bin目錄下用常用命令運行

./logstash -f yourconfigurationfile.conf

請注意，要在激活 Logstash 之前創建索引，您無需為 output 索引設計映射，只要插入第一個文檔，彈性將為索引中的所有相關字段創建映射。

Answer 2

您可以使用 elasticsearch 使用 .NET 的兩個官方客戶端之一

有低級和高級客戶端，您可以在官方文檔中閱讀更多關於差異以及如何使用它們的信息。