1. 前言
filebeat 6.6.2 nginx module自定义字段
filebeat提供了多种Module预制模块，简化了各种日志的格式化
在nginx中默认的字段并不满足实际需求，例如我们需要记录额外的Nginx字段
例如 请求时间、后端响应时间、主机头等信息
那么在filebeat的nginx module中需要同步定义
2. rpm模式安装filebeat
|
1 2 3 |
curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.6.2-x86_64.rpm sudo rpm -vi filebeat-6.6.2-x86_64.rpm |
3. Nginx 自定义Log格式化
nginx原始log格式化定义：
|
1 2 3 4 5 |
#log format log_format access '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for" ' |
nginx自定义格式化log：
|
1 2 3 4 5 6 7 8 |
#log format log_format access '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for" ' '"$http_x_real_ip" "$server_addr" "$host" ' '$request_time $upstream_response_time "$upstream_addr" ' '"$time_iso8601"'; |
4. 启用filebeat的nginx module
执行
|
1 2 |
filebeat modules enable nginx |
filebeat nginx module 增加字段
文件 /usr/share/filebeat/module/nginx/access/ingest/default.json 中
原始：
|
1 2 3 4 5 6 7 8 9 |
"grok": { "field": "message", "patterns":[ "\"?%{IP_LIST:nginx.access.remote_ip_list} - %{DATA:nginx.access.user_name} \\[%{HTTPDATE:nginx.access.time}\\] \"%{GREEDYDATA:nginx.access.info}\" %{NUMBER:nginx.access.response_code} %{NUMBER:nginx.access.body_sent.bytes} \"%{DATA:nginx.access.referrer}\" \"%{DATA:nginx.access.agent}\"" ], "pattern_definitions": { "IP_LIST": "%{IP}(\"?,?\\s*%{IP})*" } |
自定义修改：
|
1 2 3 4 5 6 7 8 9 |
"grok": { "field": "message", "patterns":[ "\"?%{IP_LIST:nginx.access.remote_ip_list} - %{DATA:nginx.access.user_name} \\[%{HTTPDATE:nginx.access.time}\\] \"%{GREEDYDATA:nginx.access.info}\" %{NUMBER:nginx.access.response_code} %{NUMBER:nginx.access.body_sent.bytes} \"%{DATA:nginx.access.referrer}\" \"%{DATA:nginx.access.agent}\" \"%{DATA:nginx.access.xff}\" \"%{DATA:nginx.access.x_real_ip}\" \"%{DATA:nginx.access.server_addr}\" \"%{DATA:nginx.access.host}\" %{DATA:nginx.access.request_time} %{DATA:nginx.access.upstream_response_time} \"%{DATA:nginx.access.upstream_addr}\" \"%{DATA:nginx.access.time_iso8601}\"" ], "pattern_definitions": { "IP_LIST": "%{IP}(\"?,?\\s*%{IP})*" } |
如果定制自己的字段
可以使用http://grokdebug.herokuapp.com/ 在线工具验证grok规则
可以使用Json工具处理转义问题
文件 /etc/filebeat/fields.yml 中
找到nginx字段配置
在
|
1 2 3 4 5 6 |
- name: agent type: text description: > Contains the un-parsed user agent string. Only present if the user agent Elasticsearch plugin is not available or not used. |
在后面增加
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 |
- name: xff type: group description: > http_x_forwarded_for. - name: x_real_ip type: group description: > http_x_real_ip. - name: server_addr type: group description: > server_addr 服务器地址. - name: host type: group description: > host http_host http主机头. - name: request_time type: group description: > request_time 请求时间. - name: upstream_response_time type: group description: > upstream_response_time 后端响应时间. - name: upstream_addr type: group description: > upstream_addr 后端地址. - name: time_iso8601 type: group description: > time_iso8601 iso8601格式时间. |
5. Filebeta中 nginx 日志路径定义
在文件 /etc/filebeat/modules.d/nginx.yml 中修改日志路径
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
- module: nginx # Access logs access: enabled: true # Set custom paths for the log files. If left empty, # Filebeat will choose the paths depending on your OS. var.paths: ["/data/wwwlogs/*.log*"] # Error logs error: enabled: true # Set custom paths for the log files. If left empty, # Filebeat will choose the paths depending on your OS. var.paths: ["/usr/local/nginx/logs/error.log*"] |
6. 扩展
6.1 解决增加字段后Kibana中不显示
- 在Kibana的 Dev Tools中执行
|
1 2 |
DELETE _ingest/pipeline/filebeat-6.6.2-nginx-access-default |
- 字段出来以后有黄色小三角,刷新一下index 的字段缓存就好了
- 重启下Filebeat
方法来源
