[英]Date parsing issue in ELK Logstash with the custom Java timestamp format of logs
以下是从Java应用程序收到的示例日志
2019-04-11 9:08:22:562 Log 1
2019-04-11 9:08:22:660 Log 2
2019-04-11 9:08:43:79 Log 3
2019-04-11 9:08:43:156 Log 4
从上面的日志中,我遇到了Log 3
问题,其中毫秒值仅为79,但是在Logstash中解析后,该值设置为790 ms(Logstash解析是正确的,但是java日志值是错误的)。 实际上,该值应为正确解析日志中的2019-04-11 9:08:43:079
。
Logstash过滤器如下:
date {
match => [ "log_time", "yyyy-MM-dd HH:mm:ss:SSS", "ISO8601" ]
target => "log_time"
timezone => "CET"
}
在深入研究时,我发现问题在于这种时间格式的Java日志记录,如果格式为yyyy-MM-dd HH:mm:ss.SSS
,则可以解决。 但是日志记录应用程序使用格式yyyy-MM-dd HH:mm:ss:SSS
导致此问题(请注意格式:SSS
和.SSS
)。
我无法更改日志记录Java系统,因此Logstash筛选器是否有任何解决方法来解决此问题。
我通过使用以下gsub在只有2位数字的毫秒中插入0前缀来解决此问题:
mutate { gsub => [ "log_time", "^([0-9-]+ [0-9]+:[0-9]{2}:[0-9]{2}:)([0-9])$", "\100\2",
"log_time", "^([0-9-]+ [0-9]+:[0-9]{2}:[0-9]{2}:)([0-9]{2})$", "\10\2" ] }
得到了弹性讨论小组的帮助
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.