[线上问题排查参考 | 01]

一、排查方案流程、思路：

1. 通过日志平台、Grafana监控、K8s容器命令（jps、top -Hp、jstack）定位问题根源，明确阻塞节点与资源泄漏原因。
2. 紧急修复：利用Arthas热替换MsgSender.class，新增MQ发送超时设置，取消队列满时的同步发送逻辑（改为直接丢弃），快速恢复服务可用性。
3. 彻底解决：待RabbitMQ集群恢复后，发布正式版本，包含完善的超时配置、移除异步转同步逻辑，从根源避免问题复发。

二、告警原因分析：拉紧急会议、组成分析小组、检查规范、做好留存：规范大致如下，

1. 中间件使用：所有网络中间件（MQ、缓存等）必须配置超时时间，确保故障时快速失败，不阻塞业务线程。
2. 事务操作：禁止在数据库事务内执行耗时操作（如网络请求、消息发送），避免长事务占用连接池。
3. 消息发送：消息SDK摒弃“异步转同步”机制；可靠消息采用“先落表再异步发送”方案，非可靠消息可直接丢弃。
4. 监控预警：新增数据库长事务、连接池使用率、中间件运行状态等监控指标，搭建提前预警体系。
5. 应急修复：通过Arthas热替换等紧急修复技术，确保中间件故障时可独立恢复核心服务。
6. 服务依赖：核心服务启动不依赖非核心中间件，通过降级、熔断机制保障服务基础可用性。

三、解决办法
根据告警原因排查结果，我们分三层推进：立即救火、根因修复、运行保障。

1. 立即救火

• 入口限流与反压：收敛并发，采用有界队列、合理 acceptCount、拒绝策略或暂停上游；连接池设置较短 maxWait，失败快返。
• 超时统一：DB/HTTP/MQ/缓存统一超时；消息发送设置发送超时；取消队列满时的“异步转同步”；非可靠消息直接丢弃。
• 热修复与证据：优先抓取线程快照与池指标；必要时用 Arthas 热替换修复 MsgSender 或配置项；removeAbandoned 仅在排查期开启并记录泄漏栈。

2. 根因修复

• 事务边界：事务内不做网络请求或消息发送；慢操作移出事务；结合 SLA/吞吐设定 @Transactional 与 queryTimeout。
• 消息可靠：可靠消息采用“先落表再异步发送”，补偿与幂等到位；彻底移除“异步转同步”。
• 连接与代码规范：全面采用 try-with-resources/模板类；禁止 ThreadLocal/跨线程传递连接；keepAlive 配合半开连接探测与服务端心跳。
• 容量模型：线程池、acceptCount 与连接池容量、峰值 QPS、P95 延迟、CPU 核数建立映射，参数以测算为准而非示例值。

3. 运行保障

• 监控预警：长事务、Active/WaitThreadCount、Borrow/Return 速率、中间件状态设置阈值预警；定期复盘泄漏栈。
• 启动去耦与韧性：核心服务启动不依赖非核心中间件；按模块配置降级与熔断，故障域隔离。
• 压测与演练：灰度验证修复效果；加入故障注入（下游变慢/断链）验证“快失败、必归还、反压”生效。