083、NPU的对数数系统（Logarithmic Number System）：替代方案

083 NPU的对数数系统（Logarithmic Number System）：替代方案

一个让我失眠的bug

去年做一款低功耗AI芯片的RTL仿真，跑MobileNetV2时发现推理结果总在softmax层附近崩掉——输出全是NaN。查了三天，最后定位到是乘法器饱和处理逻辑的问题。那个乘法器用的是传统定点数，动态范围不够，中间激活值溢出后一路传播，最终把softmax的指数计算炸了。

当时团队里有个老哥说：“要不试试LNS？”我第一反应是“又来一个花架子方案”。但后来真去调研，才发现对数数系统在某些场景下确实能解决定点数的硬伤——尤其是NPU里那些需要大动态范围、又对精度不敏感的层。

对数数系统到底在干什么

传统定点数用固定的小数点位置表示数值，比如Q8.8格式，范围有限，精度均匀分布。但对数数系统（LNS）换了个思路：不存数值本身，存数值的对数。

假设我们要表示一个数x，LNS里存的是：

x = sign * 2^e

其中e是定点数格式的指数。注意这里底数用2，方便硬件实现。乘法和除法在LNS里变成了指数相加和相减——这比定点乘法器省面积得多。

举个例子：要算a*b，传统定点需要乘法器，LNS只需要把指数部分相加，符号位异或。加法器？不需要。这听起来很美好，但代价是加法和减法变得极其复杂。

加法才是真正的坑

LNS里加法为什么难？因为你要算：