流利和Nginx訪問日志格式

Question

如何在fluentd中為以下Nginx訪問日志格式編寫正則表達式？

log_format main '$remote_addr - $remote_user [$time_local]  $request '
                        '"$status" $body_bytes_sent "$http_referer" '
                        '"$http_HOST" $HOST '
                        '"$http_user_agent" "$http_x_forwarded_for" '
                        'upstream_response_time $upstream_response_time '
                        'upstream_addr $upstream_addr '
                          'msec $msec request_time $request_time';

Answer 1

使用nginx fluend模塊很容易。

該模塊通過fluentd-udp-plugin實時發送訪問日志到fluentd，日志格式為json，可以獲取所有fluentd日志變量。