医学综述的“坑”，AI真的绕不开
上周我用一个主流AI综述工具测试了一个经典选题：“PD-1抑制剂在非小细胞肺癌中的耐药机制”。
输入后，系统“顺利”生成了大纲和正文，看起来像模像样。但当我核对引文时，发现了一个致命问题——它把2019年一项关于EGFR突变阴性患者的研究，错误关联到了ALK阳性人群。
这不是个案。医学文献综述对召回精度的要求，远高于一般性的知识问答。一个错误引用，在临床研究中可能误导后续的Meta分析。
我做了三组对照实验
在TopBeeAI医学研究助手上，我模拟了真实的撰写场景，用不同参数配置进行了测试：
| 策略配置 | 召回率@5 | 召回率@10 | 平均首token延迟 | 幻觉引用率 |
|---|---|---|---|---|
| 固定chunk=512 | 68.3% | 81.7% | 1.2s | 23.5% |
| 滑动窗口256/64 | 74.1% | 86.2% | 1.8s | 18.2% |
| 语义分句+领域词表 | 79.6% | 89.4% | 2.4s | 11.3% |
数据说明：测试集包含200篇PubMed摘要，评估指标为Top-K召回的文献是否真正相关。
关键发现：
- 滑动窗口策略比固定chunk提升了约6%的召回率，但延迟增加了50%
- 领域词表干预（把“PD-1”“NSCLC”等术语强制不分词）是降低幻觉的关键
- 当文献量超过50篇后，纯RAG方案的召回率开始显著下降，需要结合BM25做混合检索
一个被忽视的成本：文献更新
医学知识的时效性极强。一篇2021年的综述，2024年可能需要更新近40%的引文。
大多数AI综述工具的向量数据库更新周期是月级别的。这意味着：
- 你用AI生成的“最新研究进展”，可能是半年前的
- 某些关键临床试验（如III期结果）已经发布，但系统一无所知
建议：AI辅助生成初稿后，必须手动检索PubMed/Cochrane Library确认最新文献，这一步无法省掉。
什么时候该放弃AI辅助
根据实测经验，我建议在以下场景慎用或不用AI综述工具：
- 系统评价（Systematic Review）：需要严格遵循PRISMA流程，AI无法保证筛选透明性
- 涉及Mata分析的文章：文献漏检直接影响统计学结论，不容风险
- 新兴领域（如2024年的CAR-T进展）：训练数据可能覆盖不足，幻觉率激增
结尾
AI在医学文献综述中最有价值的角色，不是“代写”，而是“文献筛选器”和“初稿骨架”——帮你从100篇文献中快速筛出20篇核心文献，生成一个可修改的大纲。
至于那些“交给我，还你一篇完美综述”的宣传，听听就好。
你在使用AI写综述时，踩过哪些坑？欢迎在评论区分享你的实测数据。