告别TCP: time wait bucket table overflow

78次阅读

共计 2067 个字符，预计需要花费 6 分钟才能阅读完成。

随着访问量的增大，系统默认的承受能力达到上限，系统日志频繁出现。/var/log/messages 中常见的“kernel: TCP: time wait bucket table overflow”这个信息，会发现每隔 5s 就会报出几行。此时查看连接状态如下：

[root@IPTV001 ~]# netstat -an | awk '{print $6}' | sort | uniq -c | sort -rn
   6216 TIME_WAIT
     30 LISTEN
     21 ESTABLISHED
     20 CONNECTED
     14 
      4 STREAM
      2 FIN_WAIT1
      1 I-Node
      1 Foreign
      1 FIN_WAIT2
      1 established)
      1 CLOSE_WAIT
      1 and
      1 987101641
      1 8614
      1 8613
      1 8597

可以看见 TIME_WAIT 值还是比较大的

修改 vi /etc/sysctl.conf

net.ipv4.tcp_syncookies = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 68719476736
kernel.shmall = 4294967296
fs.file-max=65535
fs.inotify.max_user_instances = 8192
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.ip_local_port_range = 1024 65000
net.ipv4.tcp_max_syn_backlog = 65536
net.ipv4.tcp_max_tw_buckets = 20000
net.ipv4.route.gc_timeout = 100
net.ipv4.tcp_syn_retries = 1
net.ipv4.tcp_synack_retries = 1
net.core.somaxconn = 65535
net.core.netdev_max_backlog = 262144
net.ipv4.tcp_timestamps = 0
net.ipv4.tcp_max_orphans = 262144
net.netfilter.nf_conntrack_max = 1048576
net.netfilter.nf_conntrack_tcp_timeout_established = 1200

说明：

net.ipv4.tcp_syncookies = 1 表示开启 SYN Cookies。当出现 SYN 等待队列溢出时，启用 cookies 来处理，可防范少量 SYN 攻击，默认为 0，表示关闭；

net.ipv4.tcp_tw_reuse = 1 表示开启重用。允许将 TIME-WAIT sockets 重新用于新的 TCP 连接，默认为 0，表示关闭；

net.ipv4.tcp_tw_recycle = 1 表示开启 TCP 连接中 TIME-WAIT sockets 的快速回收，默认为 0，表示关闭。

net.ipv4.tcp_fin_timeout = 30 表示如果套接字由本端要求关闭，这个参数决定了它保持在 FIN-WAIT- 2 状态的时间。

net.ipv4.tcp_keepalive_time = 1200 表示当 keepalive 起用的时候，TCP 发送 keepalive 消息的频度。缺省是 2 小时，改为 20 分钟。

net.ipv4.ip_local_port_range = 1024 65000 表示用于向外连接的端口范围。缺省情况下很小：32768 到 61000，改为 1024 到 65000。

net.ipv4.tcp_max_syn_backlog = 65536 表示 SYN 队列的长度，默认为 1024，加大队列长度为 65536，可以容纳更多等待连接的网络连接数。

net.ipv4.tcp_max_tw_buckets = 20000 表示系统同时保持 TIME_WAIT 套接字的最大数量，如果超过这个数字，TIME_WAIT 套接字将立刻被清除并打印警告信息。默认为 180000，改为 5000。对于 Apache、Nginx 等服务器，上几行的参数可以很好地减少 TIME_WAIT 套接字数量，但是对于 Squid，效果却不大。此项参数可以控制 TIME_WAIT 套接字的最大数量，避免 Squid 服务器被大量的 TIME_WAIT 套接字拖死。

执行以下命令使配置生效：

sysctl -p

观察几分钟后，报错消失，TIME_WAIT 连接数减少了。

root@IPTV001 ~]# netstat -an | awk '{print $6}' | sort | uniq -c | sort -rn
   4962 TIME_WAIT
     30 LISTEN
     22 ESTABLISHED
     20 CONNECTED
     14 
      4 STREAM
      2 FIN_WAIT1
      1 I-Node
      1 Foreign
      1 established)
      1 and
      1 987101641
      1 8614
      1 8613
      1 8597