赏金将在 6 天后到期。 此问题的答案有资格获得+50声望赏金。 Geo Thomas正在寻找可靠来源的答案。 我能够使用以下 logstash.conf 从 oracle 数据库创建一个 elasticsearch 索引 但这将始终是一个完整的事实。 我现在正在尝试运行它,因为增量可能是每小时 ...
赏金将在 6 天后到期。 此问题的答案有资格获得+50声望赏金。 Geo Thomas正在寻找可靠来源的答案。 我能够使用以下 logstash.conf 从 oracle 数据库创建一个 elasticsearch 索引 但这将始终是一个完整的事实。 我现在正在尝试运行它,因为增量可能是每小时 ...
我正在使用 ElasticSearch,在这里我们正在创建日间索引,并且每分钟都在摄取大量数据。 想将每天创建的索引中的几个字段导出到 Google 云存储。 我能够通过 output 文件实现这一点,如 json,如下所示: 但是如何将其导出为 CSV 文件并将其发送到 Google Cloud ...
我在同一台主机上部署了 logstash、elasticsearch 和 kibana,输入和 output 的简单配置如下 InOutConfigFile.conf 我遇到问题 我需要添加有效证书吗? 因为我只是想测试一下系统当运行命令 logstash -f InOutConfigFile.co ...
我在服务器上安装了 elk 堆栈,在另一台服务器上安装了 filebeat 以在 filebeats-[data] 索引上发送 syslog,它工作正常。 现在,在 elk 服务器上,我在 logstash 中配置了另一个输入,以在 json_data 索引上发送一个 json 文件,它工作正常,但 ...
我想使用字段源和在 filebeat 输入中声明的字段分离日志文件,因为从 kibana 端,日志的源是访问/错误,但是,logstash 不会将日志传递给弹性搜索,我想知道这是声明来源的正确方法吗? 我尝试在输入部分使用绝对,它就像一个魅力,所以我认为问题出在输入 filebeat 或 logs ...
Logstash(docker) 无法连接数据库。 错误 => 无法连接到数据库。 尝试 1 次 {:message=>Java::OrgPostgresqlUtil::PSQLException: 连接到 localhost:5432 被拒绝。 检查主机名和端口是否正确,以及 po ...
所以我创建了我的 logstash conf 文件,并在一个 docker 组合文件中启动了 logstash、kibana、Postgres 和 elasticsearch,它与我的数据库无缝连接,但它说表“产品”不存在。 [2023-01-18T14:06:00,182][WARN ][logs ...
我需要帮助,(谁会想到?对吧?哈哈) 几天后我有一个工作面试,这对我来说意味着世界为它做好充分准备并有一些工作示例。 我正在尝试通过 logstash、elasticsearch 从 kafka 建立一个 stream 数据的 ELK 管道,最后从 Kibana 读取它。 通常。 我正在使用容器, ...
很抱歉主题标题神秘,但我不知道如何正确放置。 这些是日志类型: 这是我的 grok 模式: 我想要做的是将连字符(所以- client IP )后的日志转发到kv过滤器。 我的问题是 - 这种类型的日志并不总是出现,所以我想包装整个 grok 模式,所以它匹配直到%{GREEDYDATA:messa ...
当我知道预期 object 中其中一个字段的名称时,我可以使用 但我想要一种在没有已知字段名称的情况下进行一般检查的方法。 ...
我尝试使用跟踪列执行输入 jdbc oracle,但不起作用,需要其他信息吗? 像 file.conf 等? ...
我通过 kube.netes Pod 在容器中启动了一个 logstash 服务,我自愿更改了配置以查看行为。 现在,服务的配置文件不是 但 然后,当我启动容器时,日志是: 所以参考elasticsearch1然后突然参考elasticsearch 为什么? ...
早些时候我只有一种类型的索引日志,但最近我改变了日志模式。 现在我的神交模式看起来像 样本日志是 Logstash 必须在 5 分钟内为这个索引处理大约 150000 个事件,并且大约。 索引的 400000 个事件。 现在每当我尝试更改 grok 时,logstash 服务器的 CPU 使用率都 ...
我想通过 logstash 将多个 CSV 文件(用户、分数、消息)中的数据加载到一个索引中。 所有 CSV 文件都具有连接其中数据的相同“userId”字段。 我的目标是得到 User-Index,它将 User CSV 文件中的数据作为简单字段,将 Scores 和 Messages 文件中的数 ...
例如,在 logstash 中,我们有下一个选项可以定期更新索引模板(在 output 插件中) 通过选项 template_overwrite 通过模板名称假设我想添加没有 logstash 的模板,但是像这样使用 terraform 在设置部分我做了一些更改(例如,添加摄取管道),但是当我替换 ...
OK,我的问题是是否可以使用logstash对收集到的日志数据进行统计分析。现在我已经使用filebeat将nginx条日志收集到es集群中,并在这些日志上打上了需要的标签。我打算阅读这些日志从es集群上写个程序统计这些日志,比如某段时间某区域的流量。现在想知道filebeat采集的日志能不能传 ...
我在使用 kv 过滤器时遇到问题。 在我的 if 语句中它被完全忽略了。 出于调试目的,我尝试添加两个标签——一个在 mutate 过滤器中,第二个在 kv 中。 结果: 不知道这里出了什么问题...... ...
我正在尝试将数据从 Elasticsearch 插入到 postgresql。它在 postgresql 中插入数据但没有正确处理空白值。 当我试图在 postgresql 中插入黑色值时,它填充了语句的变量名。 它是postgresql中的output:在此处输入图像描述这是我的配置文件 ...
我正在构建 elasticsearch 和 kibana inside docker,我已经准备好了,但是当为 elasticsearch 撰写日志时,我收到了这个警告: 您可以在以下repo中找到我的代码而且我也有同样的错误,然后我尝试用 https 替换所有 hhtp 也是同样的事情:Elas ...
我正在尝试运行 LogStash,但它接缝表明 logstash 在执行步骤时失败了。 有什么帮助吗? 日志跟踪:[2023-01-04T07:04:02,977][错误][logstash.agent] 无法执行操作 {:action=>LogStash::PipelineAction::C ...