Nginx_PHP的LOG设计

ywg

　　作者：diege
　　时间：2012-0-22
　　一、nginx
　　1、  nginx错误日志
　　1)       配置位置
　　Nginx.conf顶层，第三行。
　　error_log               /data/logs/nginx_error.log;
　　2)       存放路径
　　/data/logs/
　　3)       备份切割：无
　　如果要定位到站点的错误，可以按access.log设计
　　在站点配置文件server{}块中
　　error_log       /data/logs/$hostname_error.log;
　　2、  nginx访问日志
　　1)       配置access.log格式和说明
　　http{}顶层
　　#log_format 有一个默认的，无需设置的combined日志格式设置
　　#其格式为
　　log_format  combined  '$remote_addr - $remote_user [$time_local]  '
　　'$request "$status" $body_bytes_sent '
　　'"$http_referer" "$http_user_agent" '
　　#默认LOG中有'$remote_addr和$remote_user中间 有-
　　#其他自定义的LOG
　　log_format  main  '$remote_addr - $remote_user [$time_local] $request '
　　'"$status" $body_bytes_sent "$http_referer" '
　　'"$http_user_agent" "$http_x_forwarded_for"';
　　#后端记录真实访问IP
　　log_format download  '$remote_addr - $remote_user [$time_local] '
　　'"$request" $status $bytes_sent '
　　'"$http_referer" "$http_user_agent" '
　　'"$http_range" "$sent_http_content_range"';
　　log_format  timelog  '$remote_addr - $remote_user [$time_local] $request '
　　'"$status" $body_bytes_sent "$http_referer" '
　　'"$http_user_agent" "$http_x_forwarded_for"'
　　'$request_time $upstream_response_time
　　说明
　　$remote_addr 远程地址
　　$remote_user  远程用户
　　$time_local 写入普通日志格式的当地时间（服务器时间）
　　$request  请求的方法和连接
　　$request_length 请求主体的长度。
　　$request_time nginx处理请求的时间，单位为毫秒（0.5.19版本后可以使用秒为单位）
　　$status 应答的状态（代码）
　　$upstream_response_time 后端处理时间，代理的响应时间
　　$upstream_status 后端服务器的状态
　　$upstream_addr : 后端服务器的IP地址和端口
　　$body_bytes_sent 减去应答头后传送给客户端的字节数，这个变量兼容apache模块mod_log_config的%B参数（在0.3.10前这个变量为$apache_bytes_sent）。
　　$bytes_sent 传送给客户端的字节数。
　　$http_referer 跳转$request的链接，就是从那里访问到$request
　　$http_user_agent 浏览器操作系统信息等
　　$http_x_forwarded_for 访问用户真实服务器的IP
　　$http_range ？
　　$sent_http_content_range ？
　　$connection，连接数。
　　$msec，正在写入日志条目的当前时间（精确到百万分之一秒）
　　$pipe，如果请求为管道的。
　　$status  $upstream_status :  响应的状态码。前端服务器响应状态，后端服务器响应状态
　　$request_time  $upstream_response_time :  关注性能必备！看看前端传输文件的时间，以及后台处理的时间。前者对了解网络状态有益，后者对了解服务性能有益。
　　$remote_addr  $upstream_addr :  用户的IP地址，后端服务的IP地址
　　$bytes_sent $body_bytes_sent  :  发送给用户端的数据量（包含HTTP头和不包含HTTP头）
　　$host $request :  最重要的，搞定具体域名具体URL，不抓瞎。
　　LOG测试
　　log_format timelog  '$remote_addr - $remote_user [$time_local]  '
　　'"$request" $status $bytes_sent '
　　'"$http_referer" "$http_user_agent" '
　　'"$http_range" "$sent_http_content_range" '
　　'"$request_time nginx" "$upstream_response_time" '
　　'"$upstream_status" "$connection"';
　　访问后LOG内容
　　172.17.2.160 - - [23/Apr/2012:15:43:16 +0800]  "GET /getinfo.php?=PHPE9568F34-D428-11d2-A769-00AA001ACF42 HTTP/1.1" 200 2710 "http://www.example.com/getinfo.php" "Mozilla/5.0 (Windows NT 5.1; rv:11.0) Gecko/20100101 Firefox/11.0" "-" "-" "0.004" "0.004" "200" "1"
　　172.17.2.160 - - [23/Apr/2012:15:43:16 +0800]  "GET /getinfo.php?=PHPE9568F35-D428-11d2-A769-00AA001ACF42 HTTP/1.1" 200 2332 "http://www.example.com/getinfo.php" "Mozilla/5.0 (Windows NT 5.1; rv:11.0) Gecko/20100101 Firefox/11.0" "-" "-" "0.005" "0.005" "200" "5"
　　172.17.2.160 - - [23/Apr/2012:15:43:16 +0800]  "GET /getinfo.php?=SUHO8567F54-D428-14d2-A769-00DA302A5F18 HTTP/1.1" 200 3000 "http://www.example.com/getinfo.php" "Mozilla/5.0 (Windows NT 5.1; rv:11.0) Gecko/20100101 Firefox/11.0" "-" "-" "0.005" "0.005" "200" "4"
　　'"$http_range" "$sent_http_content_range" 这个字段是空的。
　　代理(包括php-fpm代理)LOG
　　设计LOG
　　log_format proxylog  '$remote_addr $remote_user [$time_local]  '
　　'$request" $status $bytes_sent '
　　'$http_referer $http_user_agent '
　　'$request_time $upstream_response_time '
　　'$upstream_addr $upstream_status ';
　　172.17.2.160 - [23/Apr/2012:15:53:56 +0800]  GET /getinfo.php HTTP/1.1" 200 10496 - Mozilla/5.0 (Windows NT 5.1; rv:11.0) Gecko/20100101 Firefox/11.0 0.030 0.030 172.18.17.223:9000 200
　　172.17.2.160 - [23/Apr/2012:15:53:56 +0800]  GET /getinfo.php?=PHPE9568F34-D428-11d2-A769-00AA001ACF42 HTTP/1.1" 200 2710 http://www.example.com/getinfo.php Mozilla/5.0 (Windows NT 5.1; rv:11.0) Gecko/20100101 Firefox/11.0 0.003 0.003 172.18.17.223:9000 200
　　172.17.2.160 - [23/Apr/2012:15:53:56 +0800]  GET /getinfo.php?=SUHO8567F54-D428-14d2-A769-00DA302A5F18 HTTP/1.1" 200 3000 http://www.example.com/getinfo.php Mozilla/5.0 (Windows NT 5.1; rv:11.0) Gecko/20100101 Firefox/11.0 0.004 0.004 172.18.17.223:9000 200
　　172.17.2.160 - [23/Apr/2012:15:53:56 +0800]  GET /getinfo.php?=PHPE9568F35-D428-11d2-A769-00AA001ACF42 HTTP/1.1" 200 2332 http://www.example.com/getinfo.php Mozilla/5.0 (Windows NT 5.1; rv:11.0) Gecko/20100101 Firefox/11.0 0.003 0.003 172.18.17.223:9000 200
　　压缩测试 错误 gzip是格式。不是压缩日志、
　　2)       配置位置
　　各个虚拟站点server{}块下
　　access_log  /data/logs/sitelogs/$servername.cn.access.log  main;
　　access_log /data/logs/sitelogs/$servername.cn.access.log  gzip  buffer=32k;
　　nginx直接调用gzip压缩，不知道对性能印象有多大。所以，还不压缩。到凌晨再切割压缩。
　　3)       存放路径
　　/data/logs/sitelog
　　4)       备份切割：
　　凌晨0点对日志切割，压缩备份到/data/backup/httplogs，如果有需要再同步到其他服务器进行分析或导入数据库
　　脚本
　　#!/bin/sh
　　# Name :            gzip_allvhosts_log.sh
　　# Date created :    2012-4-22
　　# Whom :            diege
　　# Version :         V1.1,2012-4-22
　　# Description :     处理所有nginx vhost的access log和error.log(如果有）
　　yesterday=`/bin/date -v -1d +%Y-%m-%d`
　　logbak_dir=/data/backup/httplogs
　　httplog_dir=/data/logs/sitelogs
　　allvhost=`ls -1 /data/logs/sitelogs/ | awk -F'-' '{print$1}' | uniq`
　　#move all vhost log to backup dir
　　for vhost in $allvhost
　　do
　　src_access_log=${httplog_dir}/${vhost}-access.log
　　dst_access_log=${logbak_dir}/${vhost}/${vhost}_${yesterday}_access.log
　　src_error_log=${httplog_dir}/${vhost}-error.log
　　dst_error_log=${logbak_dir}/${vhost}/${vhost}_${yesterday}_error.log
　　if [ ! -d ${logbak_dir}/${vhost} ];then
　　mkdir -p ${logbak_dir}/${vhost}
　　fi
　　if [ -f $src_access_log ];then
　　/bin/mv  $src_access_log $dst_access_log
　　fi
　　if [ -f $src_error_log ];then
　　/bin/mv  $src_error_log $dst_error_log
　　fi
　　done
　　# nginx log rotate
　　kill -USR1 `cat  /var/run/nginx.pid`
　　#compress back log
　　for vhost in $allvhost
　　do
　　cd ${logbak_dir}/${vhost}/ && /usr/bin/gzip *.log
　　done
　　二、php LOG
　　1、错误日志error_log
　　# vim /usr/local/etc/php.ini
　　648 error_log = /data/logs/php_errors.log
　　三、php-fpm 日志
　　php的所有日志都存放在/data/logs/php-fpm/目录下
　　# vim /usr/local/etc/php-fpm.conf
　　1、  配置php-fpm_error.log
　　[global]
　　error_log =  /data/logs/php-fpm/php-fpm_error.log
　　2、  配置php-fpm slowlog 慢日志
　　[www0]
　　slowlog = /data/logs/php-fpm/$pool.log.slow
　　3、  配置php-fpm access.log 访问日志 一般是nginx调用php-fpm处理php文件的日志
　　[www0]
　　access.log = /data/logs/php-fpm/$pool.access.log