1. 引言
矩阵乘法（GEMM）是 LLM 推理中最核心、最耗时的计算单元，占据总计算量的 60-80%。dbhoo-lpu 开源版提供了标准的 F32 精度 GEMM 参考实现，而DBHOO 商业版在此基础上扩展了从 FP16、BF16 到 INT8、INT4、FP8 的全精度栈支持，开发者可根据场景在精度与性能之间灵活选择。
本文从原理层面解析多精度 GEMM 的核心优化技术。
2. 为什么需要多精度？
不同精度在存储占用和计算效率上有显著差异：
| 精度 | 存储占用 | 适用场景 |
|---|---|---|
| F32 | 4 字节 | 参考实现、高精度要求 |
| FP16 | 2 字节 | 权重推理、梯度累积 |
| BF16 | 2 字节 | 训练/推理，宽动态范围 |
| INT8 | 1 字节 | 量化推理，成熟方案 |
| INT4 | 0.5 字节 | 极致压缩，需校准 |
关键洞察
- 内存带宽瓶颈：LLM 推理中，权重从内存到计算单元的数据搬运往往比计算本身更耗时。降低精度可直接减少内存搬运量，带来接近线性的加速。
- 计算吞吐量：现代 CPU/GPU 的低精度算力（如 INT8）通常是 F32 的数倍，配合向量化指令集可实现显著的吞吐量提升。
3. FP16/BF16 GEMM 优化原理
3.1 内存布局优化
多精度 GEMM 的核心优化之一是缓存友好的数据布局。将矩阵按子块分块存储，使计算子块时数据尽可能驻留在 L1/L2 缓存中，同时对齐到向量寄存器宽度以利用 SIMD 指令。
DBHOO 商业版在此方向进行了深度优化，根据硬件特性自动选择最优的分块参数。
3.2 BF16 的特殊处理
BF16 保留了与 F32 相同的 8 位指数宽度，但尾数只有 7 位。前向推理时，BF16 权重可直接参与计算，累加阶段使用 F32 内部累加器避免精度损失，并利用硬件 BF16 指令实现加速。
4. INT8 量化 GEMM 原理
4.1 量化方案
INT8 量化将 FP32 权重映射到 INT8 范围，主流方案包括：
- 对称量化：基于最大绝对值确定缩放因子，实现简单
- 非对称量化：引入零点偏移，能更好利用量化范围
4.2 量化粒度
量化粒度决定了精度与计算开销的权衡：
| 粒度 | 精度 | 计算开销 | 说明 |
|---|---|---|---|
| Per-Tensor | 低 | 最小 | 整个张量一个 scale |
| Per-Channel | 中 | 低 | 每输出通道一个 scale |
| Per-Group | 高 | 中 | 每 32/64/128 个元素一组 |
粒度越细，精度保留越好，但计算和存储开销也相应增加。DBHOO 商业版支持上述所有粒度策略，并会根据模型特性自动选择最优配置。
4.3 INT8 GEMM 核心计算
INT8 GEMM 利用硬件提供的 INT8 矩阵乘指令（如 AVX-512 VNNI）完成高效计算，累加器使用 INT32 防止溢出，最终反量化回 F32 输出。
5. INT4 量化原理
INT4 量化将每个权重压缩到 4bit，两个权重打包到 1 字节，实现极致的模型压缩。
核心技术包括：
- Group-wise 量化：每 32 个权重共享一组缩放参数
- 查表解码：预计算 INT4 到 INT8 的映射表，减少运行时解码开销
- 权重重排：按计算顺序重排权重，避免解包时的随机访问
典型压缩比下，7B 模型可从 14GB（F32）压缩至 3.5GB（INT4），可放入消费级硬件运行。
6. FP8 精度技术
FP8 是 NVIDIA H100/H200 GPU 引入的新精度格式，包含两种变体：
- E4M3：4 位指数 + 3 位尾数，适用于权重
- E5M2：5 位指数 + 2 位尾数，适用于激活/梯度
FP8 的核心挑战在于精度管理，通过分块缩放和累加阶段精度提升（FP16/F32）来保证计算质量。
7. 总结
多精度 GEMM 让开发者可以根据实际场景在性能与精度之间自由选择：
- FP16/BF16：零成本精度切换，适合大部分推理场景
- INT8：成熟可靠的量化方案，显著性能提升
- INT4：极致压缩，适合边缘部署和内存受限场景
- FP8：下一代精度标准，硬件原生支持
DBHOO 商业版完整支持上述多精度 GEMM 能力，并结合自动调优引擎为每个模型、每套硬件自动选择最优的 GEMM 实现路径。
了解更多：
- 官网: https://www.dbhoo.com
- 商业咨询: admin@dbhoo.com
- 开源版: https://github.com/dbhoo/dbhoo-lpu