如何在不使用 Kibana 的情况下直接从 elasticsearch 读取日志

Question

I have a ASP.NET Core Web API written in C# with docker-compose, elasticsearch, and serilog and Kibana. 我计划从 docker-compose.yml 文件中删除 Kibana。 一旦 Serilog 生成日志文件并在将接收器配置到 Elasticsearch 之后，它就可以将日志写入 elasticsearch 可以读取的位置。 我如何 go 关于阅读现在在 elasticsearch 中的那些日志，而不必 go 到 Kibana 来查看日志并阅读它们？

对此文档和/或 package 是否有任何建议，或者这是否需要从头开始编程？

---

建议尝试：

我去下载卡夫卡然后我去 powershell 作为管理员并做了一个wget (url) 。 下载后，我运行tar -xzf kafka_2.13-2.8.0.tgz & cd kafka_2.13-2.8.0 。 然后我按照您的建议激活 Zookeeper 代理和 Kafka，然后创建主题。 但是，当您说要执行的每个步骤时，什么都没有发生。 我会尝试激活 Zookeeper，它会告诉我如何打开文件，所以我只需按 ESC，然后运行其他命令，但会出现同样的情况。 这应该这样做吗？

Answer 1

使用 log4net 作为日志提供，它是Kafka_Appender 。这个附加器将在每个级别生成您的操作日志到主题，然后 Logstash 会将这些日志作为 output 摄取到您的弹性索引中。

There are many privileges in this roadmap, You have supper powerful stream processor like Apache Kafka and its queue based messaging help you to always trace every logs that it produce an other one is Logstash which you can even add more stream processor and filter like grok and有多个输出，甚至将您的日志存储为 Csv 或文件系统。

首先激活 Zookeeper 和 Kafka 代理，并在下载的 Kafka 文件的 bin 目录中创建一个具有一些主题名称的消费者：

激活 Zookeeper 代理

./zookeeper-server-start.sh ../config/zookeeper.properties

激活 Kafka 代理

./kafka-server-start.sh ../config/server.properties

创建主题

./kafka-topics.sh --create --topic test-topic -zookeeper localhost:2181 --replication-factor 1 --partitions 4

已创建主题的活跃消费者

./kafka-console-producer.sh --broker-list localhost:9092 --topic test-topic

然后为创建的主题添加日志附加器以使用日志（这个由您决定），然后创建一个 Logstash 管道，如下面的配置

 input { kafka{ group_id => "35834" topics => ["yourtopicname"] bootstrap_servers => "localhost:9092" codec => json } } filter { } output { file { path => "C:\somedirectory" } elasticsearch { hosts => ["localhost:9200"] document_type => "_doc" index => "yourindexname" } stdout { codec => rubydebug } }

并在logstash的bin目录下用常用命令运行

./logstash -f yourconfigurationfile.conf

请注意，要在激活 Logstash 之前创建索引，您无需为 output 索引设计映射，只要插入第一个文档，弹性将为索引中的所有相关字段创建映射。

Answer 2

您可以使用 elasticsearch 使用 .NET 的两个官方客户端之一

有低级和高级客户端，您可以在官方文档中阅读更多关于差异以及如何使用它们的信息。