php-cgi内存占用过大 nginx502和504错误

火冰狐

　　nginx.conf
　　worker_rlimit_nofile 10240;　　
　　#worker_rlimit_nofile  是nginx能打开文件的最大句柄数，我们需要把这个数字设大一点。
　　#linux系统的文件查看数限制查看是用 ulimit -n  ，修改这个限制是用 ulimit -HSn 65535
　　php-fpm.conf
　　pm = static　　
　　pm.max_children = 7　　#这个决定了  php-fpm的总进程。我们要想同时响应更多的并发数，这个数值要尽可能大，比如500，1000　　
　　pm.max_requests =  10000　　#并发数越大，这个最大请求数应该越大，并发数小，这个数值也应该越小。它表示，php-fpm进程响应了10000个并发请求之后，就自 动重启一下进程。　　
　　request_terminate_timeout =  30　　#表示等待30秒后，结束那些没有自动结束的php脚本，以释放占用的资源。
　　+++++++++++++++++++++++++++++++++++++++++++++++++++
　　php-fpm的两种进程管理模式
　　php-fpm的进程数也是可以根据设置分为动态和静态的。
　　一种是直接开启指定数量的php-fpm进程，不再增加或者减少；另一种则是开始的时候开启一定数量的php-fpm进程，当请求量变大的时候，动态的增加php-fpm进程数到上限，当空闲的时候自动释放空闲的进程数到一个下限。
　　这两种不同的执行方式，可以根据服务器的实际需求来进行调整。
　　这里先说一下涉及到这个的几个参数吧，他们分别是pm、pm.max_children、pm.start_servers、pm.min_spare_servers和pm.max_spare_servers。
　　pm表示使用那种方式，有两个值可以选择，就是static（静态）或者dynamic（动态）。在更老一些的版本中，dynamic被称作apache-like。这个要注意看配置文件给出的说明了。
　　下面4个参数的意思分别为：
　　pm.max_children：静态方式下开启的php-fpm进程数量。
　　pm.start_servers：动态方式下的起始php-fpm进程数量。
　　pm.min_spare_servers：动态方式下的最小php-fpm进程数量。
　　pm.max_spare_servers：动态方式下的最大php-fpm进程数量。
　　如果dm设置为static，那么其实只有pm.max_children这个参数生效。系统会开启设置的数量个php-fpm进程。
　　如 果dm设置为dynamic，那么pm.max_children参数失效，后面3个参数生效。系统会在php-fpm运行开始的时候启动  pm.start_servers个php-fpm进程，然后根据系统的需求动态在pm.min_spare_servers和  pm.max_spare_servers之间调整php-fpm进程数。
　　那么，对于我们的服务器，选择哪种执行方式比较好呢？事实上，跟Apache一样，我们运行的PHP程序在执行完成后，或多或少会有内存泄露的问题。
　　这 也是为什么开始的时候一个php-fpm进程只占用3M左右内存，运行一段时间后就会上升到20-30M的原因了。所以，动态方式因为会结束掉多余的进 程，可以回收释放一些内存，所以推荐在内存较少的服务器或者VPS上使用。具体最大数量根据 内存/20M  得到。比如说512M的VPS，建议pm.max_spare_servers设置为20。至于pm.min_spare_servers，则建议根据服 务器的负载情况来设置，比较合适的值在5~10之间。
　　然后对于比较大内存的服务器来说，设置为静态的话会提高效率。因为频繁开关php-fpm进程也会有时滞，所以内存够大的情况下开静态效果会更好。数量也可以根据内存/30M 得到。比如说2GB内存的服务器，可以设置为50；4GB内存可以设置为100等。
　　+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
　　解决Nginx 504 Gateway Time-out的一些方法
　　在 CentOS下配置lnmp组合基本上用的都是同样的配置文件，一直都没出现过问题，可最近在一个vps上安装同样的环境之后，网站在线10多人就出  现了打开速度非常缓慢的情况，有好几次都是直接达到了nginx中设置的脚本最大超时时间300秒，结果导致nginx往客户端浏览器发送了一个504  Gateway Time-out的错误代码，分析了之后改动了几处配置文件，终于避免了该情况的出现。
　　从错误代码基本可以确定跟nginx本身无关，主要是提交给php-fpm的请求未能正确反馈而导致，一般情况下，提交动态请求的时候，nginx会直接 把  请求转交给php-fpm，而php-fpm再分配php-cgi进程来处理相关的请求，之后再依次返回，最后由nginx把结果反馈给客户端浏览器，但  我这个vps目前跑的是个纯php应用内容，实际上用户所有的请求都是php请求，有的耗费时间比较久，php-cgi进程就一直都被用满，而php-  fpm本身的配置文件只打开了10组php-cgi进程，这样的话在线用户稍微多的话就会导致请求无法被正常处理而出错。
　　大概分析出了原 因，下面做就比较容易了，首先是更改php-fpm的几处配置：
　　把max_children由之前的10改为现在的30，这样就可以保证 有充足的php-cgi进程可以被使用；
　　把request_terminate_timeout由之前的0s改为60s，这样php-cgi进程 处理脚本的超时时间就是60秒，可以防止进程都被挂起，提高利用效率。
　　接着再更改nginx的几个配置项，减少FastCGI的请求次 数，尽量维持buffers不变：
　　fastcgi_buffers由 4 64k 改为 2 256k；
　　fastcgi_buffer_size 由 64k 改为 128K；
　　fastcgi_busy_buffers_size 由 128K 改为 256K；
　　fastcgi_temp_file_write_size 由 128K 改为 256K。
　　好了，重新加载php-fpm和nginx的配置，再次测试，至今两周时间内没有再出现504 Gateway Time-out的情况，算是达到效果了。
　　另外，php-fpm的默认静态处理方式会使得php-cgi的进程长期占用内存而无法释放，这也是导致nginx出错的原因之一，因此可以将php-fpm的处理方式改成apache模式。
　　apache-like
　　从更改完毕到现在的测试表明上述方式的效果还是很明显的，并没有发现一次Nginx502 bad gateway或504 Gateway Time-out错误。当然，如果你的VPS或者服务器的性能足够好可以根据具体情况不必做无谓的改动。
php-fpm.conf有两个至关重要的参数，一个是”max_children”,另一个是”request_terminate_timeout”　　我的两个设置的值一个是”40″，一个是”900″，但是这个值不是通用的，而是需要自己计算的。
　　计算的方式如下：
　　如果你的服务器性能足够好，且宽带资源足够充足，PHP脚本没 有系循环或BUG的话你可以直接将”request_terminate_timeout”设置成0s。0s的含义是让PHP-CGI一直执行下去而没有 时间限制。而如果你做不到这一点，也就是说你的PHP-CGI可能出现某个BUG，或者你的宽带不够充足或者其他的原因导致你的PHP-CGI能够假死那 么就建议你给”request_terminate_timeout”赋一个值，这个值可以根据你服务器的性能进行设定。一般来说性能越好你可以设置越 高，20分钟-30分钟都可以。由于我的服务器PHP脚本需要长时间运行，有的可能会超过10分钟因此我设置了900秒，这样不会导致PHP-CGI死掉 而出现502 Bad gateway这个错误。
　　而”max_children”这个值又是怎么计算出来的呢？这个值原则上是越大越好，php-cgi的进程多 了就会处理的很快，排队的请求就会很少。设置”max_children”也需要根据服务器的性能进行设定，一般来说一台服务器正常情况下每一个php- cgi所耗费的内存在20M左右，因此我的”max_children”我设置成40个，20M*40=800M也就是说在峰值的时候所有PHP-CGI 所耗内存在800M以内，低于我的有效内存1Gb。而如果我的”max_children”设置的较小，比如5-10个，那么php-cgi就会“很 累”，处理速度也很慢，等待的时间也较长。如果长时间没有得到处理的请求就会出现504 Gateway Time-out这个错误，而正在处理的很累的那几个php-cgi如果遇到了问题就会出现502 Bad gateway这个错误。

　　
　　max_requests 即是说每个进程若超过这个数目(跟php进程有一点点关系,关系不大),就自动杀死..我这里应该设置512的,不过懒得压力测试了,设置大一点,不过也 不要设置过大,是个结构体,没测试过,接近8K到9K大小.网上动辄设置100k,有点浪费内存了.一个进程浪费大小接近1M.按照网上常用配置的128 个进程,大概浪费100M左右.好吧,我承认100M是白菜价,但也别这样浪费..= =
　　max_children基本就是进程数,跟nginx的进程没有想象中的那么大,因为FPM会自己管理进程(有待考证,起码我简单浏览了一下源码,认为是这个意思).参数不宜设置过大,很占内存,进程的消耗就不用我多说了.
　　max_children较好的设置方式根据req/s来设置,若程序是 100 req/s的处理能力..最大并发是10K,那么就设置 100比较好,这是动态来调整的.
　　不过你若用php 5.3,也可以把style设置为apache-like,那么设置start_servers,min_spare_servers,max_spare_servers三个参数就可以自动调整
　　很简单,具体看配置文件,这样的设置之后,在高负载和复杂的php程序会省事一点,毕竟测试req/s是可恶的体力活.
　　参考：http://cblog.chinadaily.com.cn/home.php?mod=space&uid=784001&do=blog&id=3936672和http://hi.baidu.com/f_yaman/blog/item/cf53c4fca01af55ad6887db2.html