那天下午收到告警时,监控面板上有一条跨系统调用的成功率曲线正在往下掉。我们的订单服务需要调用一个内部的风控接口,平时响应都在几十毫秒级别,可那段时间大量请求卡在几秒钟才返回,再往后干脆开始超时报错。最先被怀疑的,照例是网络。
这篇记录就是把那次排查从头到尾走一遍。我想说明的不是某条命令怎么敲,而是遇到"接口超时"这种模糊现象时,怎么一步步把范围缩小,最后找到那个和最初猜测完全不一样的根因。
现象:到底是谁在超时
超时这个词很容易让人偷懒。客户端报超时,服务端也可能在喊超时,但两者说的往往不是一回事。我们当时拿到的第一手信息很有限:订单服务的调用方日志里全是"读取响应超时",而风控服务那边看自己的接口耗时统计,大部分请求其实处理得很快。
这就出现了一个典型的矛盾——调用方觉得对面慢,被调用方觉得自己不慢。遇到这种对不上的情况,不要急着在任何一端下结论。它通常意味着问题出在两端中间的某个环节,或者出在"请求还没真正发出去"的那段时间里。
我把排查方向拆成了三层:网络链路本身有没有延迟或丢包、应用日志里超时发生在请求生命周期的哪个阶段、以及代码层面对连接和超时是怎么配置的。先从最容易被甩锅的网络开始。
第一层:用抓包确认网络到底冤不冤
要判断网络是不是真有问题,光看监控里的平均延迟不够,得看真实的数据包。我在订单服务所在的机器上对目标风控服务的地址和端口做了抓包,把流量先落到文件里,再拿到本地用图形化的分析工具慢慢看。
抓包要带着问题去看,而不是漫无目的地翻。我重点关注这么几件事:
- TCP 建立连接的三次握手是不是很快完成,有没有重传
- 请求发出去之后,对端返回第一个数据字节用了多久
- 整个会话里有没有大量重传、乱序或者零窗口这类异常
看下来结论很清楚:握手正常,没有明显丢包和重传,一旦请求真正发出,对端响应得也很及时。换句话说,数据在网线上跑的那部分一点都不慢。
但抓包还顺手暴露了一个更有意思的细节。我注意到在高峰时段,有些请求从应用"打算调用"到抓包里真正看到对应的数据包发出,中间存在一段说不清的空档。网络层已经洗清嫌疑,可这段空档说明请求在离开应用之前就被耽误了。线索开始往上走。
第二层:从日志里切分超时发生的阶段
网络没问题,接下来要搞清楚那段空档到底卡在哪。这一层的关键,是把一次外部调用拆成几个阶段分别看:拿连接、建立连接、发送请求、等待响应、读取响应。调用方日志里笼统的"超时",必须对应到其中某一个具体阶段,排查才有意义。
我们的调用方日志原本只记录了一个总耗时,看不出细节。为了定位,我临时在客户端调用的关键节点上补了几处时间戳记录——分别打在准备发起请求之前、拿到连接之后、以及收到响应之后。重新放一批流量进去,日志立刻说明了问题。
真正耗时的阶段,不是等待响应,也不是读取响应,而是"拿连接"这一步。很多请求在拿到一个可用连接之前就卡了很久,有的甚至在这一步直接等到超时阈值。一旦连接到手,后面发请求、等响应、读结果都很快,这和抓包看到的现象完全吻合。
到这里,判断就从"对面服务慢"或者"网络慢",收敛到了"客户端自己拿不到连接"。这是一个方向性的转折,也是整个排查里最关键的一跳。被调用方和网络都是无辜的,问题在我们自己这端的调用机制上。
第三层:回到代码看连接是怎么被管起来的
拿不到连接,几乎总是指向连接池。我们这个 HTTP 客户端用了连接池来复用连接,避免每次调用都重新握手。连接池好用,但它有一个容易被忽略的参数:针对单个目标主机的最大连接数。
翻到那段初始化代码,连接池的最大连接数被设成了一个很小的值。这个值在服务刚上线、调用量不大的时候完全够用,所以一直没人注意。可随着订单量增长,并发调用风控接口的请求越来越多,连接池里那几根连接根本不够分。多出来的请求只能排队,等着别人用完归还连接。
这就解释了前面所有看似矛盾的现象。排队等待发生在应用内部,所以网络抓包看不到异常;请求一旦拿到连接就跑得很快,所以风控服务统计到的处理耗时很正常;而调用方感受到的,是把"排队时间 + 真正调用时间"加在一起的总耗时,于是集中表现为超时。一个本质上是容量配置的问题,一路伪装成了网络和服务端的问题。
修复本身很简单,把单主机最大连接数调整到和实际并发量相匹配的水平,同时给连接池的获取操作设置一个合理的等待上限,让排队不至于无限堆积。改完重新压一轮流量,拿连接的耗时降了下来,超时随之消失。
这次排查留下的几点经验
事后回看,真正让排查走弯路的,是一开始就默认"超时等于网络问题"。如果没有抓包这一步把网络摘出去,很可能会一直在链路和对端服务上折腾。
有几条判断方法我觉得值得固定下来,以后再遇到类似问题可以直接套用:
- 看到两端对超时的描述对不上时,优先怀疑中间环节或请求真正发出之前的阶段,而不是急着在某一端加机器、调参数
- 抓包的价值不只是找网络故障,它还能帮你确认"请求到底有没有、何时离开本机",从而把应用内部的延迟暴露出来
- 应用日志如果只记录总耗时,排查时几乎没用;把一次外部调用按阶段打点,是定位这类问题性价比最高的手段
- 连接池、线程池这类资源池的容量参数,往往在低负载时毫无存在感,却会在流量上来后第一个成为瓶颈,排查慢调用时应该把它们列为常规怀疑对象
跨系统调用之所以难排查,就在于现象出现在一端,根因却可能藏在另一端,甚至藏在你自己这端最不起眼的一行配置里。把排查过程按网络、日志、代码分层推进,让每一层的结论去指引下一层,比凭直觉猜测要可靠得多。这次从一行连接池配置里找到答案,也算是把这套方法又验证了一遍。












