首页/资讯中心/详情

负载排查和分析四

负载排查和分析四
📅 发布时间：2026/6/20 6:22:18

负载排查和分析四

明白，我给你提供完整整合后的最终文档版本，把软/硬中断触发机制、背景、流程、表格全部补充进去，保持原有网络优化、Perf 分析、脚本和流程图不变。

Linux 网络优化与性能分析完全指南（最终完整版）

1️⃣ 中断与软中断基础

1.1 中断（IRQ）概念

  • 定义：CPU 在执行任务时，外设或内核事件请求 CPU 立即响应。

  • 作用：保证系统及时响应硬件或内核事件。

1.2 硬中断（Hard IRQ）

背景

硬中断由硬件设备发起，目的是让 CPU 立即响应外设事件，典型场景包括：

  • 网络接口卡（NIC）收到数据包 → 网络收包中断

  • 磁盘 I/O 完成 → 磁盘控制器中断

  • 定时器到期 → 系统定时器中断

触发流程

硬件事件发生│▼
中断控制器接收请求 (APIC/IO-APIC)│▼
CPU 当前执行上下文被打断│▼
中断向量表定位中断服务程序 (ISR)│▼
ISR 执行快速处理 (top half)│▼
触发软中断/调度延迟任务 (bottom half)

查看

cat /proc/interrupts

内核触发示例（模拟硬中断）

// 内核模块中触发硬中断
generic_handle_irq(irq_number);

  • 用户态：❌ 不能直接触发硬中断

  • 内核态：✅ 可模拟触发（仅 ISR，不产生真实硬件事件）

1.3 软中断（Soft IRQ）

背景

硬中断完成后，为了 减轻 ISR 压力、分散 CPU 处理任务，内核将部分工作延迟到软中断执行。典型应用：

  • 网络数据包接收处理（NET_RX_SOFTIRQ）

  • 定时器、调度任务

  • block I/O 完成处理

触发流程

硬中断 ISR 执行完成│▼
ISR 调用 raise_softirq(softirq_type)│▼
软中断挂起，等待 ksoftirqd 调度│▼
ksoftirqd 内核线程执行延迟任务 (bottom half)

查看

cat /proc/softirqs

内核触发示例

// 内核中触发网络软中断
raise_softirq(NET_RX_SOFTIRQ);

  • 用户态：❌ 不可直接触发

  • 内核态：✅ 可以触发，用于驱动调试或延迟任务测试

1.4 硬/软中断关联与触发对比

  • 触发顺序：
    硬件事件 → 硬中断触发 CPU → 完成快速处理 → 触发软中断 → ksoftirqd 执行延迟任务

  • 优化方向：

    • 硬中断：IRQ 绑核

    • 软中断：RPS/RFS 分发到多核

项目硬中断（Hard IRQ）软中断（Soft IRQ）
来源 硬件事件 硬中断完成后由内核触发
用户态触发 ❌ ❌
内核态触发 ✅ generic_handle_irq() ✅ raise_softirq()
执行上下文 CPU 当前上下文 ksoftirqd 内核线程
优先级 高 中
典型用途 网络收包、磁盘 I/O、定时器 网络包处理、调度延迟任务、I/O 完成处理
调试/模拟用途 内核驱动测试 内核延迟任务调试、RPS/RFS 调优

2️⃣ 网络优化基础

2.1 网卡 Offload

  • 作用：减轻 CPU 负载，让网卡处理部分网络协议。

  • 参数：TSO/GSO/GRO

  • 查看：

ethtool -k eth0

  • 开启：

ethtool -K eth0 tso on gso on gro on

2.2 IRQ 绑核

  • 作用：将硬中断绑定到指定 CPU，提高多核性能。

  • 设置：

echo 2-15 > /proc/irq/<IRQ>/smp_affinity_list

2.3 RPS / RFS（软中断分发）

  • 作用：将软中断分发到多核，提高网络吞吐量。

  • 查看：

cat /sys/class/net/eth0/queues/rx-*/rps_cpus
cat /sys/class/net/eth0/queues/rx-*/rps_flow_cnt

2.4 TCP/UDP Buffer

  • 作用：增大内核缓冲区，提升高并发性能。

  • 参数：

net.core.rmem_max
net.core.wmem_max
net.ipv4.tcp_rmem
net.ipv4.tcp_wmem

3️⃣ 网络优化脚本

#!/bin/bash
# network_optimize.sh
NIC="eth0"
CPULIST="2-15"
RMEM_MAX=16777216
WMEM_MAX=16777216
TCP_RMEM="4096 87380 16777216"
TCP_WMEM="4096 87380 16777216"
RPS_CPUS="ffff"
RPS_FLOW_ENTRIES=32768echo "=== 网络优化: $NIC ==="# 查询默认值
ethtool -k $NIC
for irq in $(grep "$NIC" /proc/interrupts | awk -F: '{print $1}'); doecho "$irq: $(cat /proc/irq/$irq/smp_affinity_list)"
done
sysctl net.core.rmem_max net.core.wmem_max net.ipv4.tcp_rmem net.ipv4.tcp_wmem
for q in /sys/class/net/$NIC/queues/rx-*; doecho "$q: RPS=$(cat $q/rps_cpus) FLOW=$(cat $q/rps_flow_cnt)"
done# 设置优化参数
ethtool -K $NIC tso on gso on gro on
for irq in $(grep "$NIC" /proc/interrupts | awk -F: '{print $1}'); doecho $CPULIST > /proc/irq/$irq/smp_affinity_list
done
sysctl -w net.core.rmem_max=$RMEM_MAX
sysctl -w net.core.wmem_max=$WMEM_MAX
sysctl -w net.ipv4.tcp_rmem="$TCP_RMEM"
sysctl -w net.ipv4.tcp_wmem="$TCP_WMEM"
for q in /sys/class/net/$NIC/queues/rx-*; doecho $RPS_CPUS > $q/rps_cpusecho $RPS_FLOW_ENTRIES > $q/rps_flow_cnt
done# 打印状态
ethtool -k $NIC

4️⃣ 完全动态软中断统计脚本

#!/bin/bash
awk '
BEGIN { delete counts; delete names; num=0 }
NR==1 { ncpus=NF-1; next }
{ type=$1; gsub(/:/,"",type); if (!(type in counts)) { num++; names[num]=type } for(i=2;i<=NF;i++) counts[type]+=$i }
END { total=0; for(t in counts) total+=counts[t]printf "%-12s %12s %8s\n","类型","总数","占比(%)"PROCINFO["sorted_in"]="@val_num_desc"for(t in counts) printf "%-12s %12d %8.2f\n",t,counts[t],counts[t]*100/totalprintf "总计 %12d 100.00\n", total
}' /proc/softirqs

5️⃣ 完全动态硬中断统计脚本

#!/bin/bash
awk '
BEGIN { printf "%-20s %-30s %-12s %-10s\n","控制器","设备","中断数","占比(%)"; print "---------------------------------------------" }
NR==1 { ncpus=NF-1; next }
/:/ && $1 ~ /^[0-9]+:/ {irq=substr($1,1,length($1)-1)sum=0; for(i=2;i<=1+ncpus;i++) sum+=$iif(sum==0) nextctrl=$(NF-1); dev=$NFtotal+=sum; counts[ctrl "|" dev]+=sum; ctrl_totals[ctrl]+=sum
}
END {PROCINFO["sorted_in"]="@val_num_desc"for(k in counts) { split(k,p,"|"); printf "%-20s %-30s %-12d %-9.2f\n", p[1],p[2],counts[k],counts[k]*100/total }print "========================================"for(c in ctrl_totals) printf "%-20s %-12d %-9.2f\n", c, ctrl_totals[c], ctrl_totals[c]*100/totalprintf "%-20s %-12d %-10s\n","总中断",total,"100.00%"
}' /proc/interrupts

6️⃣ Perf 性能分析流程

Step1: 基础统计

perf stat -a -d sleep 5
指标含义工具分析方法可能原因
cycles CPU 时钟周期 perf stat 与 instructions 比较 CPU pipeline stall
instructions 执行指令数 perf stat CPI=cycles/instructions CPU pipeline stall
cache-references 缓存访问次数 perf stat 比较 cache-miss 高 miss → CPU stall/NUMA
cache-misses 缓存未命中次数 perf stat cache miss rate CPU stall / NUMA 远程访问
branch-instructions 分支指令数 perf stat branch-misses rate 分支预测失误 → pipeline stall
branch-misses 分支错误次数 perf stat branch-miss 分析 高 → pipeline stall
context-switches 上下文切换次数 perf stat/sched 高但 syscall 正常 调度/锁争用
cpu-migrations 进程迁移次数 perf stat perf sched/top NUMA、负载均衡
page-faults 页面错误次数 perf stat/vmstat 高 → 内存不足或 NUMA 远程访问 内存压力
minor-faults 非阻塞页错误 perf stat/vmstat 频繁 → 内存压力 内存不足
major-faults 阻塞页错误 perf stat/iostat 频繁 → I/O 或内存压力 磁盘/网络 I/O 瓶颈
cycles.stalled CPU 停顿周期 perf stat cycles stalled 分析 pipeline stall / cache miss
instructions.retired 指令完成数 perf stat CPI/IPC 分析 CPU pipeline/IPC 效率
syscalls 系统调用次数 perf trace 高频 syscall 追踪 I/O/网络/文件系统瓶颈

Step2: 系统调用跟踪

perf trace -a

Step3: 调度/锁分析

perf sched record -a -g sleep 10
perf sched latency

Step4: 热点分析

perf top -a

Step5: 深入分析

perf record -a -g sleep 10
perf report

Step6: 分支思路总结

现象分析方法可能原因
syscalls 高 perf trace -a I/O/网络/文件系统瓶颈
context-switch 高 perf sched record/latency 调度/锁争用
page-fault 高 /proc/softirqs + perf top 内存不足或 NUMA 远程访问
CPI 高但 syscall/ctx/fault 正常 perf top -a CPU stall、cache miss、NUMA

7️⃣ 网络优化 + 性能诊断闭环流程图

+---------------------+
|     网络收包         |
|  (NIC Hard IRQ)     |
+---------+-----------+|v
+---------------------+
|  硬中断绑核 / RPS    |
|  irq_affinity / RPS  |
+---------+-----------+|v
+---------------------+
|   ksoftirqd / SoftIRQ |
|   (网络、调度任务)   |
+---------+-----------+|v
+---------------------+
|      TCP/UDP Buffer  |
|  rmem/wmem/tcp_*     |
+---------+-----------+|v
+---------------------+
| 用户态应用 / syscall |
| perf stat/top 分析  |
+---------+-----------+|v
+---------------------+
| 调度 / 锁分析        |
| perf sched/latency  |
+---------+-----------+|v
+---------------------+
| 深入热点分析         |
| perf record/report   |
+---------------------+

✅ 补充说明：

  1. 用户态不能直接触发硬中断/软中断，内核模块可用于调试、性能验证。

  2. 硬中断：立即响应外设 → ISR 执行快速处理 → 可触发软中断。

  3. 软中断：硬中断完成后延迟处理 → ksoftirqd 调度 → 可配合 RPS/RFS 分发多核。

  4. 优化方向：

    • IRQ 绑核：优化硬中断

    • RPS/RFS：优化软中断

    • TCP/UDP buffer：优化应用数据处理

这份文档已经覆盖：

  • 网络优化基础与脚本

  • 硬/软中断机制、触发流程、触发权限、统计脚本

  • Perf 性能分析完整流程与指标

  • 问题现象 → 分析工具 → 方法 → 可能原因

  • 原流程图保留

  • 软/硬中断触发背景和流程补充完整