grok 过滤器和logstash

Question

有2种日志： 1.sshd: d.kuprevich@pts/0/79512/1012 124.25 111.561 2.74.205.155.180:52472-76.121.32.65:443/0/0 1.4234 11.4315 sshd后的第一种情况： 空间

这是第一种和第二种情况的https://grokdebug.herokuapp.com/的配置

1. (?<Ip, 端口>% {IPORHOST}% {NOTSPACE} \s +% {NOTSPACE}) \s +% {NOTSPACE: received_traffic} \s +% {NOTSPACE:transmitted_traffic}
2. (? <Ip, port>% {IPORHOST}% {NOTSPACE}% {NOTSPACE}) \s +% {NOTSPACE: received_traffic} \s +% {NOTSPACE:transmitted_traffic} 他们每个人都在为自己的情况工作，但我需要对于这两种情况都是通用的，但我还想不出什么。 帮助。

第二个问题，如果可能的话，在logstash config中我有一个输入文件，有条件地有5行，在output到kibana控制台之后我看到所有相同的数据2次，但是ID不同，请告诉我如何摆脱给出的重复。 谢谢您的帮助。

Answer 1

将每个数字放在不同的字段中：

%{HOSTPORT:IP_1}-%{HOSTPORT:IP_2}/%{NUMBER:NUMBER_1}/%{NUMBER:NUMBER_2}%{SPACE}%{NUMBER:NUMBER_3}%{SPACE}%{NUMBER:NUMBER_4}

对于您给定的日志行，您将获得：

NUMBER_3    10.5678
NUMBER_2    0
NUMBER_1    0
NUMBER_4    1516.17
IP_2    14.212.55.167:80
IP_1    91.231.121.222:35712 

为了在您下次尝试编写模式时为您提供帮助：

图案测试仪： http://grokconstructor.appspot.com/do/match

基本模式列表： https://github.com/logstash-plugins/logstash-patterns-core/blob/master/patterns/ecs-v1/grok-patterns