四 系统评估与优化
4.2模型选型
在网安研途智能体的开发过程中，核心决策之一是如何选择合适的LLM作为底层引擎。该模型不仅需要理解复杂的网络安全科研问题，还需在本地部署或云端API之间权衡隐私、成本、响应速度与生成质量。本节详细阐述模型选型的考量因素、测试过程及最终选择，并说明为何Ollama本地部署的Qwen3 4B模型成为当前最佳实践方案。
网安研途旨在构建一个面向网络安全科研人员的个人知识管理助手，因此，模型选型需同时满足：准确性（对专业术语的理解）、隐私性（数据不出本地）、响应速度、可控性、成本（长期运行经济可承受）等多维指标。
本次项目主要考察了两大类模型：本地部署的开源模型和云端商业API模型。本地部署候选包括阿里通义实验室的 Qwen3系列（0.6B、1.7B、4B、8B）以及多模态变体 Qwen3-VL（2B、4B）；云端API则测试了DeepSeek、豆包（字节跳动）、文心一言（百度）等国内主流服务。测试统一使用相同的提示模板。其中0.6B和1.7B模型因参数量过小，对复杂网络安全术语理解不足，生成答案常缺失关键细节。8B模型虽准确率最高，但显存占用较大，若多用户并发可能导致延迟，且量化后精度有所下降。多模态模型在本场景中优势不明显，但可作为未来扩展（如解读论文图表）的备选。
云端API准确率普遍较高，得益于更大规模的模型，响应时间也可接受。但主要问题在于数据隐私，用户查询可能包含未公开的论文内容或科研思路，上传至云端存在泄露风险，不符合网络安全科研的保密要求。随着使用量增加，长期运行费用可观，且依赖网络稳定性。
最终，Qwen3-4B 本地部署模型脱颖而出，成为网安研途智能体的核心引擎。