1. 引言
在深度学习领域，注意力机制（Attention Mechanism）已经成为 Transformer 架构的核心组件。近年来，一系列新型注意力机制被提出，其中Attention Free Transformer（AFT）因其在保持模型表达能力的同时显著降低计算复杂度而受到关注。aft-pytorch是一个轻量级的 PyTorch 实现包，旨在为研究人员和开发者提供简洁、高效的 AFT 模块。本文将详细介绍该包的功能、安装方法、核心语法与参数，并通过 8 个实际应用案例展示其用法，最后总结常见错误与使用注意事项。
2. 包功能概述
aft-pytorch主要实现了以下核心功能：
- AFT 基础层：提供
AFT类，实现标准的 Attention Free Transformer 层，支持因果掩码（causal masking）和偏置（bias）。 - AFT 变体：包括
AFTFull、AFTSimple、AFTLocal等变体，分别适用于全局注意力、简化计算和局部窗口注意力场景。 - 位置偏置：内置可学习的位置偏置（position bias），增强序列位置建模能力。
- 与 PyTorch 无缝集成：所有模块均为
nn.Module子类，可直接嵌入现有模型。