流利和Nginx访问日志格式

Question

如何在fluentd中为以下Nginx访问日志格式编写正则表达式？

log_format main '$remote_addr - $remote_user [$time_local]  $request '
                        '"$status" $body_bytes_sent "$http_referer" '
                        '"$http_HOST" $HOST '
                        '"$http_user_agent" "$http_x_forwarded_for" '
                        'upstream_response_time $upstream_response_time '
                        'upstream_addr $upstream_addr '
                          'msec $msec request_time $request_time';

Answer 1

使用nginx fluend模块很容易。

该模块通过fluentd-udp-plugin实时发送访问日志到fluentd，日志格式为json，可以获取所有fluentd日志变量。