十万字小说一口气喂给 AI：Strix Halo 的 128k 长上下文实测
对于很多本地大模型玩家来说，“长上下文”往往是一个听起来很美好、用起来很骨感的概念。在传统的笔记本架构上，一旦尝试加载超过 32k 的上下文窗口，显存溢出（OOM）的报错几乎如影随形，或者被迫使用极慢的系统内存交换，导致生成速度卡顿如 PPT。但最近在使用搭载 AMD Strix Halo 架构的设备进行实测时，这种焦虑被彻底打破了。这次测试的核心目标非常明确：将一本约十万字的小说完整投喂给支持 128k 上下文的模型，观察其在预填充阶段的耗时、检索准确度以及持续生成的稳定性，看看统一内存架构到底能否真正承载“全书通读”的重任。
统一内存架构：突破显存墙的关键
要理解 Strix Halo 为何能轻松搞定十万字文本，首先得看它的底层逻辑。传统笔记本受限于独立的显存容量（通常为 4GB-8GB），大模型的 KV Cache（键值缓存）随着上下文长度增加会迅速吃满显存。一旦超出，系统就会崩溃或降速。
Strix Halo 的核心优势在于其统一内存架构。它不再区分“系统内存”和“显存”，而是通过高带宽互联技术，让 CPU、GPU 和 NPU 共享同一块巨大的内存池。在测试中，我们分别使用了配备 32GB 和 64GB 内存的机型。结果显示，32GB 内存足以流畅运行 7B 至 14B 参数模型的全量 128k 上下文；而若要挑战 32B 甚至更大参数的模型并保留超长上下文，64GB 版本则提供了充裕的冗余空间。这意味着，数十万 Token 的上下文向量可以直接驻留在高速内存中，无需频繁与硬盘交换数据，从根本上解决了“显存墙”问题。
128k 上下文加载实测：从预填充到精准检索
测试场景设定为：读取一本约 10 万字的悬疑小说全文，要求模型在不分段的情况下，总结特定章节情节，并查找贯穿全书的某个隐蔽伏笔。
预填充阶段的表现
当把十万字文本一次性导入模型时，最考验硬件的是“预填充”（Prefill）阶段，即模型处理所有输入 Token 并构建初始状态的过程。在普通笔记本上，这一步往往需要数分钟甚至直接失败。而在 Strix Halo 平台上，得益于 Radeon GPU 的高带宽吞吐能力，128k 上下文的预填充时间控制在5-8 秒左右。虽然比短文本稍慢，但这完全是物理定律下的正常表现，且过程平滑无卡顿，没有出现任何内存溢出的报错。
检索准确度与生成稳定性
加载完成后，真正的考验开始。我们向模型提问：“主角在第三章提到的怀表，在最后一章是如何出现的？”以及“请梳理书中关于‘雨夜’的所有描写线索”。
- 精准定位：模型能够准确回溯到几万字前的细节，回答不仅指出了具体章节，还引用了原文片段，逻辑链条完整，没有出现常见的“幻觉”或张冠李戴。
- 生成速度：在长达数千字的回答生成过程中，Radeon GPU 保持全速运转，输出速度稳定在12-15 tokens/s（针对 32B 模型）甚至更高（针对 14B 模型）。相比之下，若强行在传统架构上运行同等上下文，速度往往会跌至 2-3 tokens/s 以下，完全无法实用。
32GB vs 64GB：内存容量的实际边界
在测试不同内存配置时，差异主要体现在模型参数的选择自由度上：
- 32GB 内存：是运行 7B-14B 参数模型的理想甜点区。在此配置下，开启 128k 上下文后，系统仍有足够内存运行浏览器、IDE 等日常应用，适合大多数开发者和内容创作者进行长文档分析。
- 64GB 内存：则为 32B 及以上参数模型打开了大门。对于需要极高推理智商的复杂任务（如分析数百页的法律合同或技术研报），64GB 确保了即使在满载上下文的情况下，也不会因为内存压力而牺牲模型性能。
从小说到研报：长文本处理的真实价值
这次实测不仅仅是为了跑通一个数字游戏，更是为了验证其在实际工作流中的价值。
- 长篇研报分析：金融或行业分析师可以将几十万的行业研报直接丢给本地模型，要求其提取关键数据、对比不同章节的观点，而无需手动切割文档，避免了信息割裂带来的误判。
- 技术文档重构：面对遗留的巨型代码库或技术手册，开发者可以利用长上下文能力，让模型理解全局架构，从而给出更准确的 refactor 建议或 Bug 定位。
- 创作辅助：对于小说作者，AI 可以充当“超级读者”，随时检查前后文的一致性，查找伏笔是否回收，人物设定是否冲突。
结语
Strix Halo 架构通过统一内存设计，真正让“端侧长上下文”从理论走向了实用。它证明了在本地设备上，我们不再需要在“隐私安全”和“处理能力”之间做妥协。无论是十万字的小说，还是百万行的代码，只要内存够大、带宽够宽，AI 就能在你的眼皮底下，安静、高效地完成深度理解与分析。对于追求数据主权和极致效率的用户来说，这或许就是本地 AI 工作站的最终形态。
200小时GPU算力已就位，快来领取：https://marketing.csdn.net/questions/Q2604140858304426315?utm_source=AIpaper