CANN/asc-devkit GEMV矩阵向量乘特性说明

# GEMV

【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言，原生支持C和C++标准规范，主要由类库和语言扩展层构成，提供多层级API，满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit

特性说明：

Gemv的核心功能体现为：当矩阵A的维度M取值为1时，接口会自动启用Gemv功能，该操作退化为1×K维度的行向量与K×N维度矩阵之间的乘法运算。

针对Ascend 950PR/Ascend 950DT产品，可以通过设置MmadParams的disableGemv参数为true，将该功能关闭。

特性约束：

1. 1×K矩阵A需满足512B地址对齐，K个数据连续存储；以half类型为例，当K=256时，软件侧可视作16*16分块，配置m=1后硬件解析为1*256向量，可通过LoadData接口将256个half数据从L1 Buffer搬至L0A Buffer。

2. C矩阵是一个（1*N）的向量，当1×N向量被划分为多个1×16子向量时，每个子向量在L0C Buffer中占用1024B。但实际有效数据仅占最低32B或64B。例如，当N=50时，共划分4个1*16子向量，占用4*512B = 2048B，其中有效数据仅为4*32B = 128B。

图1GEMV模式，矩阵乘示意图

![GEMV模式-矩阵乘示意图](https://raw.gitcode.com/cann/asc-devkit/raw/1cd1d1192e01ae4a8684cd07552c35e13e5c4bdf/docs/zh/api/figures/mmad_gemv.png "GEMV模式-矩阵乘示意图"?utm_source=gitcode_repo_files)

使用优势：

M=1时自动开启GEMV模式，则矩阵乘法将M方向作为非对齐场景进行处理。GEMV模式相较于非对齐处理方式，搬运数据量更少，性能更好。下面以M=1，K=256，N=32，左右矩阵数据类型为half的矩阵乘示例说明。

• GEMV模式

  将A矩阵从L1 Buffer（TPosition:A1）搬运到L0A Buffer（TPosition:A2）时，1*256的向量被当作16*16的矩阵进行处理，调用LoadData接口一次完成16*16分形大小的矩阵搬运。B矩阵的搬运以及矩阵乘计算跟基础场景相同，如下图所示。

  图2GEMV模式M=1的矩阵乘计算示意图

  ![GEMV模式M=1的矩阵乘计算示意图](https://raw.gitcode.com/cann/asc-devkit/raw/1cd1d1192e01ae4a8684cd07552c35e13e5c4bdf/docs/zh/api/figures/mmad_gemv_compare.png "GEMV模式M=1的矩阵乘计算示意图"?utm_source=gitcode_repo_files)

• 非GEMV模式

  将A矩阵从L1 Buffer（TPosition:A1）搬运到L0A Buffer（TPosition:A2）时，1*256的向量被当作非对齐矩阵数据进行处理，将M方向对齐到32字节后进行搬运。调用LoadData接口每次搬运16*16分形大小的矩阵，一共搬运K/16=16次，导致搬运数据量增加，性能相较于GEMV模式差，如下图所示。

  图3非GEMV模式M=1的矩阵乘计算示意图

  ![非GEMV模式M=1的矩阵乘计算示意图](https://raw.gitcode.com/cann/asc-devkit/raw/1cd1d1192e01ae4a8684cd07552c35e13e5c4bdf/docs/zh/api/figures/mmad_nongemv_compare.png "非GEMV模式M=1的矩阵乘计算示意图"?utm_source=gitcode_repo_files)

使用示例：

表1示例配置说明

A矩阵为1* 4096的向量，从软件侧可以视为64*64的（针对Ascend 950PR/Ascend 950DT产品为NZ分形）数据，通过LoadData搬运到L0A Buffer上；

C矩阵为1* 256的向量，共可以划分为16个1 * 16的子向量，占用16 * 1024B = 16384B(f162f32)，其中有效数据仅仅为16 * 64B = 1024B；

图4GEMV模式矩阵乘示意图

![GEMV模式-矩阵乘示意图-demo](https://raw.gitcode.com/cann/asc-devkit/raw/1cd1d1192e01ae4a8684cd07552c35e13e5c4bdf/docs/zh/api/figures/mmad_gemv_demo.png "GEMV模式-矩阵乘示意图-demo"?utm_source=gitcode_repo_files)

GEMV功能的完整示例：GEMV样例。

AscendC::MmadParams mmadParams; // 设置m = 1自动开启GEMV能力 mmadParams.m = 1; mmadParams.n = n; mmadParams.k = k; AscendC::Mmad(c, a, b, mmadParams);

针对Ascend 950PR/Ascend 950DT产品，可以通过设置MmadParams的disableGemv参数为true，将该功能关闭，示例如下：

AscendC::MmadParams mmadParams; // 设置m = 1自动开启GEMV能力 mmadParams.m = 1; mmadParams.n = n; mmadParams.k = k; // 关闭GEMV mmadParams.disableGemv = true; AscendC::Mmad(c, a, b, mmadParams);

【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言，原生支持C和C++标准规范，主要由类库和语言扩展层构成，提供多层级API，满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit