文章目录
- 摘要
- Abstract
- 一、项目调整以及结论
- 1. 模块修改
- 2. 环境验证与复测情况
- 3. 实验数据与结论
- 4. 现存阻塞与未完成工作
- 总结
摘要
本周主要对优化glyph-ficoco多文档任务性能，在不明显损失压缩率前提下修复模型在hotpotqa、2wikimqa、musique数据集上效果退化问题，优先保障2wikimqa/musique指标，局部优化hotpotqa且不破坏整体均衡性。
Abstract
This week, I focused on optimizing the performance of Glyph-FiCoCo on multi-document tasks. Without significantly sacrificing the compression ratio, I fixed the performance degradation of the model on the HotpotQA, 2WikiMQA and MuSiQue datasets. Prioritizing the metrics of 2WikiMQA and MuSiQue, I performed partial optimizations for HotpotQA while preserving the overall balance of model performance.
一、项目调整以及结论
1. 模块修改
本次共修改 5 类核心代码文件，覆盖检索、流水线、推理、评测、单元测试模块：
- 检索模块（retrieval.py）
重构句级压缩逻辑：由单纯词命中筛选升级为结构保留 + 分档压缩，优先保留首句、关键实体句、多跳桥接句，再通过综合分值补充文本；
新增 4 类检索配置模板：multi_hop/default/summary/code；
新增问句类型识别，针对时间、地点、人物类问句及 HotpotQA 关系型问题增加句子权重加分；
实现查询实体自动抽取，支持引号实体、大写专有短语识别。 - 流水线模块（pipeline.py）
渲染接口支持传入检索配置模板；
报告日志写入检索模板标识，实现检索配置全链路透传至渲染阶段。 - 推理模块（inference.py）
基于检索模板差异化配置压缩档位；
支持按数据集覆盖检索参数，单独为 HotpotQA 定制实验开关（最终不纳入默认方案）；
页级重排序链路完成接入：词法得分→实体 / 问句规则→无依赖 BM25→轻量化稠密重排（复用模型 Embedding）；
实验结论：BM25、轻量化稠密重排功能可用，但无法提升 HotpotQA Top10 指标。 - LongBench 评测脚本（post_api_longbench.py，核心修复）
修复clean_prediction清洗逻辑：解决未闭合 `` 标签导致答案被清空、评测数据失真问题；
新增短答 Prompt 约束，限制模型仅输出答案、禁止推理过程；
新增 HotpotQA 专项优化实验入口，验证单独放宽检索资源方案无效，不保留为默认策略。 - 测试用例（test_ficoco_selection.py）
补充多跳压缩、激进摘要模式、BM25 实体共现打分相关测试逻辑；
环境无 pytest 未执行自动化测试，全部文件完成语法校验。
2. 环境验证与复测情况
- 基础闭环验证
Gen_env环境部署完成最小用例测试，Glyph 渲染、FiCoCo 基础功能、本地模型推理全部运行正常。 - 多数据集采样复测方案
选取hotpotqa/2wikimqa/musique各前 10 条样本，完整执行查询引导 + FiCoCo 压缩全链路实测。
3. 实验数据与结论
- 基线问题
早期实验指标异常，根源为评测清洗逻辑缺陷，大量样本输出空答案，相关数据作废，最终结论以修复评测链路后的结果为准。 - 最优平衡配置指标
表格
数据集 评测得分 单样本平均 Prompt Token
hotpotqa 24.38 346.5
2wikimqa 28.82 310.0
musique 25.12 342.4
多文档 QA 均值 26.11 332.97
Token 总量符合 300-350 约束区间。 - HotpotQA 专项调优结论
针对 HotpotQA 开展 5 组定向优化实验：放宽检索资源、句级关系排序、页级实体规则重排、BM25 重排、轻量化稠密重排，全部方案均无法提升指标，当前规则检索、轻量重排路径已达性能天花板。
五、落地推荐最终配置
保留本次迭代的查询引导 + FiCoCo 分层压缩方案；
固定 LongBench 评测脚本修复逻辑与短答 Prompt 约束；
默认启用multi_hop多跳压缩档位；
关闭 HotpotQA 专属增强开关，不作为全局默认策略；
BM25、轻量化稠密重排仅作为扩展功能保留，不纳入标准配置。
4. 现存阻塞与未完成工作
- 待验证任务
计划接入外部轻量检索模型BAAI/bge-small-en-v1.5、intfloat/e5-small-v2完成实测。 - 环境阻塞原因
Gen_env缺失sentence_transformers依赖库；
本地无预下载 BGE/E5 类检索模型缓存；
Hugging Face 模型下载网络不通。 - 当前瓶颈总结
仅依靠内置规则、BM25、模型自有 Embedding 重排，无法突破 HotpotQA 性能上限。
总结
1，解决核心评测缺陷，消除空答案带来的指标失真问题，产出一套可稳定复现、Token 可控的多文档均衡压缩方案；
2，充分验证本地规则类优化手段，确认现有方案无法继续提升 HotpotQA 效果；
3,明确下一阶段技术迭代方向，放弃持续本地调参，转向外部检索模型或升级 VLM。