网站制作中企动力,亚洲尺码与欧洲尺码区别,找别人做网站怎么防止后门,南阳做网站优化价格写在前面的话应某位友人需求#xff0c;帮整理下工作中的发生的一些值得记录的文章。于是在友人描述后#xff0c;为其整理为了文章#xff0c;供大家一起参考探讨。问题描述在我们中应用有一个使用到Http Long Poll的场景#xff0c;它需要一个http请求保持最长30秒#…写在前面的话应某位友人需求帮整理下工作中的发生的一些值得记录的文章。于是在友人描述后为其整理为了文章供大家一起参考探讨。问题描述在我们中应用有一个使用到Http Long Poll的场景它需要一个http请求保持最长30秒用于即使获取到最新的数据。在k8s环境下发现应该存在偶发的异常表现为长连接没有正常关闭抛出异常java.net.SocketException: Unexpected end of file from server问题排查应用异常排查首先我们先对应用程序的代码进行了排查并没有发现代码上的bug可以排除是由于代码bug导致的这个问题。抓包接下来考虑的方式就是抓包分别在三个节点上进行抓包应用程序所在pod、ingress-nginx所在pod、服务端pod。分别执行以下shell脚本tcpdump tcp -s 0 -w ./target.cap抓取当前网卡下的所有tcp流量然后使用wireshark进行分析。发现了一个比较奇怪的现象从上到下三张图片分别是应用程序端、nginx端、服务端的抓包数据可以发现连接的关闭是由nginx这个节点发起的应用端和服务端同时收到了来自nginx的FIN ACK包要求关闭当前连接并且都开始执行四次握手过程。但是在这个过程中又发生了什么异常导致这个过程并没有正常完成。通过观察大量的抓包数据后发现这个情况发生的非常多但并不是每次都会导致连接的异常关闭大部分还是能够正常关闭连接并建立新的连接的。通过仔细观察发现被异常关闭的连接都是发生在Seq1的情况下这个原因还不是很清楚。那为什么nginx会主动发起关闭连接呢Nginx 排查这时候首先想到的就是nginx的日志在翻查了nginx的access.log后发现在相同的时间段nginx都发生了reload现象backend reload requiredingress backend successfully reloaded难道是由于nginx的reload导致的问题吗通过查询发现nginx reload的大致流程为reload命令触发nginx生成新的worker进程用于接受新的连接请求old worker 进程不再接受请求对于仍然存在于old worker进程上的keep alive的连接主动发送FIN ACK 包通知对方关闭当前连接当所有old worker 上的连接都关闭或者超过worker-shutdown-timeout所设定的时间后会关闭old worker 进程通过查询k8s上ingress的默认配置发现worker-shutdown-timeout被设置为了10s这时候基本可以确定问题了由于old worker关闭的窗口时间只有10s如果在这个时间段内有连接还没有完成关闭而此时old worker已经被关闭了client端当然不能正常处理请求因为它所连接的server端已经被提前关闭了。解决找到问题原因了当然接下来就是解决了将worker-shutdown-timeout该字段的值增大为3600s即1小时理论上这个时间足够该worker上的连接全部完成关闭了。在调整了k8s上ingress的这个参数后又进行了反复测试并没有再次发现同样的问题该问题得到解决。遗留然后为什么是Seq1的连接会发生这个异常还是没有完全想明白。#职场众生相##职场达人说##我要上头条#
