排查 etcd 响应慢的问题

有一台 etcd，突然出现了响应缓慢的情况。排查中发现，系统 CPU，带宽，IO，内存，rlimit 都还有很大余量。但是 ss 发现，端口的backlog 堆积了大量连接。 $ ss -lnt State Recv-Q Send-Q Local Address:Port Peer Address:Port ... LISTEN 745 65535 10.20.30.40:2379 *:* ... 但是看并没有 SYN_RECV 状态的连接存在。所以不像由于并发连接太多造成的来不及 accept，而是 etcd 本身处理 accept 的过程慢。统计 ESTABLISHED 连接数，发现数量总是大致在 10000 个左右。这个连接数看起来很整，怀疑是不是有什么特殊的限制。 于是去看 etcd 的代码，发现 etcdmain/etcd.go 中，启动 etcd 的代码里有 l = transport.LimitListener(l, int(fdLimit-reservedInternalFDNum)) 这个 LimitListener 限制了最多同时服务的客户端连接数，超过时就会等待已有连接退出。传入的 fdLimit 是获取的 open files rlimit 限制。reservedInternalFDNum 是保留的 […]