我有一些 JSON 数据发送到我的 logstash 过滤器,并希望隐藏秘密以防止出现在 Kibana 中。 我的日志如下所示: 我的过滤器将有效载荷转换为有效载荷,然后我希望将 postData 中的 JSON 屏蔽为: 我的过滤器现在看起来像这样: 这是正确的方法吗? 我看不到过滤器将我的 JS ...
我有一些 JSON 数据发送到我的 logstash 过滤器,并希望隐藏秘密以防止出现在 Kibana 中。 我的日志如下所示: 我的过滤器将有效载荷转换为有效载荷,然后我希望将 postData 中的 JSON 屏蔽为: 我的过滤器现在看起来像这样: 这是正确的方法吗? 我看不到过滤器将我的 JS ...
我的日期格式如下 我在我的 logstash 中使用日期过滤器 但我得到 谁能建议我的方法可能有什么问题 ...
例如,我想将 Hello_1_.Bye 转换为 Hello[1].Bye 请注意 [1],即括号内仅包含数字我从这样的东西开始,但它不起作用.. 但收到此错误 感谢你的帮助 ...
我试图过滤消息以获取时间戳并使用日期过滤器将字符串转换为日期,但转换后的日期与原始日期不同。 筛选 输入 output 小时和分钟已更改 ...
我目前正在登录一些这样的短信: 而且我需要将消息的可变部分复制到一个新字段,以便拥有两个这样的新字段 到目前为止,只能使用 filebeat 处理器将整个文本消息复制到一个新字段,与 logstash 相同。 我做了一些研究,发现我可以使用条件,并使用 mutate 过滤器: 但我没有找到如何将“一 ...
我使用的是最新版本的 logstash-filter-useragent。 我有以下 UA Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.67 Sa ...
我目前正在使用弹性堆栈进行日志监控系统的项目。 我必须加载的日志是特定格式的,所以我必须编写自己的 logstash 脚本来读取它们。 特别是一种类型的日志,其中我在文件的开头有一个日期,而其他每一行中的时间戳没有日期,我的目标是从第一行中提取日期并将其添加到所有下一行,经过一些研究,我发现聚合过滤 ...
我想按相应的 HTTP 请求方法对日志进行分组,但有时这些路径包含您可能期望的ids ,目前我有一个字段httpPath ,其值类似于: resources/12321-2132-asdf3223 ,但也可能是像: resources/12321-2132-asdf3223/someaction 。 ...
我正在尝试在 logstash 上使用弹性搜索过滤器来进行一些数据丰富。 我有两个索引,我的目标是从其中一个获取一些数据并将其添加到另一个中。 我配置了一个在我的 elasticsearch 中搜索的 logstash 过滤器,如果匹配,则输出到索引。 但是我的过滤器无法正常工作,因为当我测试 ...
我在logstash有一个logstash管道,将数据充分解析为 JSON 以转到elasticsearch ; 然而...有时它不会很好地解析字段,并且会发现非常奇怪的键和值,大多数时候,这些键很长,例如: aaaakgaaaaiaaaaaaaaaabiofy1mb... 我希望能够根据密钥在k ...
我有 LogStash 过滤器,我想知道日志文件中的哪些事件已被删除,因为我在 logstash 输出文件中没有看到它们。 怎么做? 我的过滤器看起来像这样: } ...
我的 logstash 接收带有一些包含“.”的键名的 JSON。 我想用所有键名中的其他字符串替换所有点。 我发现 kv,json,mutate 但似乎没有插件可以遍历每个 JSON 键。 除了在 Ruby 插件中编写代码之外,还有其他插件可以提供帮助吗? ...
我将这些示例数据存储在 postgresql events表中: 以及许多其他具有不同type值的人。 我正在寻找的是将每个这些数据的payload插入到相应的弹性搜索索引中。 例如type = OpenLoyalty.Component.Customer.Domain.Event.Assign ...
我正在使用 logstash 来构建以下类型的日志: 14 Apr 2020 22:49:02,868 [INFO] 1932a8e0-3892-4bae-81e3-1fc1850dff55-LPmAoB (coral-client-orchestrator-41786) hub_delivery ...
我有一个 Okta 实例,我使用 Elastic Logstash 的 logstash-input-okta_system_log插件来获取系统日志。 该插件工作得很好。 我想要的是使用 Logstash 管道配置将日志转换为Elastic Common Schema 。 我可以做到,但坦率地说 ...
在使用 Logstash 将它们上传到 Elastic 之前,我试图重命名我的 MongoDB 文档中的一些深层字段。 例如:我的 MongoDB 文档如下所示: 我能够像这样访问logstash中的“名称”字段: 但是我无法访问 infoArray 中的字段,我尝试了重命名: 我还尝 ...
由于我的日志有多个模式,我需要使用多个剖析模式,以便如果一个模式无法识别日志,其他模式可以捕获。 以下伪配置工作, 或者 但是以下配置不起作用, dissect 支持这些类型的匹配吗? ...
我想知道在 mutate 过滤器中使用add_field时是否有使用子字符串的方法,也许使用 %{field} 语法。 例如: 我看到了使用 ruby 过滤器的解决方案,但我更喜欢只使用 mutate,因为我有一系列使用过滤器的操作,我更喜欢保持简单 ...
我一直在尝试使用 logstash 来查询 elasticsearch 事件,以便我可以用更多人类可读数据填充一些字段。 我有一个人名索引,当我索引其他类型的事件时,我尝试使用它来增强其他字段。 我怀疑我的查询字符串有问题,但我不知道是什么。 我只是不断收到此警告和person_query_fail ...
我目前正在使用 elasticsearch 2.3.4 和 logstash 2.3.4 使用 logstash-jdbc 插件将关系数据从 Oracle db 加载到我的 elasticsearch 索引中。 正如各种帖子中所建议的那样,我为此使用了聚合过滤器。 我仍然无法加载文档中的内部嵌套对象 ...