记一次服务器性能瓶颈排查

从昨天开始发觉自己香港的机器负载很高,昨天比较忙,没搭理它,今早来看负载已经到20+了,我的机器12核的,发觉不行了,得查一下

先用top然后看到每个核的us其实很小,但是wa很高导致load到了20+,首先想到的就是硬盘的问题

从上面的图种看到,CPU的0号核最明显,18.1%的us,idle为0,而wa已经到80.6%了

接下来就是查看硬盘瞬时的写入和读取的量有多大,使用命令dstat后就是下图数据

这个命令看到了每一秒的cpu的负载,硬盘的读取与写入的数据量,网络的读取和发送的数据量等消息。接下来就是查找大量写入和读取硬盘的程序

从这图中就可以看出了,其实大量写入的是nginx,造成原因可能是我昨天将nginx的fastcgi-cache打开了造成的

最后把nginx的fastcgi-cache关闭了后就好了,分析原因应该是这样的:我机器的硬盘的读写本来就垃圾,但是读总比写好一点,然后fastcgi-cache一直往硬盘写入大量的小文件,导致磁盘的写压力非常大,也导致了磁盘的读性能也一起变的很差,然后磁盘IO的wait就飚涨起来了

文章来源:

Author:花生
link:http://wenjun.org/?p=1169