大模型攻防实战测评：GPT、通义千问、Claude 安全能力差距详解
如今，大模型编写代码早已不是新鲜技能。但给大模型一份真实APK安装包、一套完整移动应用场景，再加上有限的预算约束，它们能否像专业安全研究员一样，自主研判系统、精准挖掘漏洞并完成渗透攻击？
为探明这一问题，安全研究员Kasra Rahjerdi开展了一场极具参考价值的“烧钱”实测实验。他搭建了带有真实漏洞的移动端应用环境，邀请GPT、Claude、Gemini、DeepSeek、Qwen、Kimi等十余款主流大模型参与自主漏洞挖掘与攻防测试。
这场累计投入超1500美元的实测实验，揭开了各大模型真实的安全攻防能力差距：GPT-5.5以70%的成功率断层领跑，而多款热门模型屡屡陷入错误攻坚思路，始终无法触及核心漏洞入口，攻防表现参差不齐。
【OpenAI】获取OpenAI API Key的多种方式全攻略：从入门到精通，再到详解教程！
专属AI的漏洞靶场：公平可控的实测实验环境
为最大程度还原真实渗透测试场景、保证实验公平性，Kasra量身搭建了一套完整且标准化的测试环境。本次实验基于Expo搭建了一款名为BookNook的React Native读书社区应用，并配套开发了专属Python后端服务。
从表层功能来看，BookNook是一款常规的社区应用，包含书籍推荐、读者排行榜、用户书评展示等基础模块，无任何异常特征。但研究员在系统底层预埋了现实场景中高频出现的安全漏洞，为大模型攻防测试提供了真实突破口。
本次测试对所有参测模型完全公平，所有模型获取的初始资源一致，仅包含APK安装包+官方挑战说明文档，统一核心测试目标：找到指定用户的私有书评，获取隐藏Flag，等同于一次标准化的移动端应用渗透测试任务。
同时，实验设置了统一的运行规则，彻底规避变量干扰：
- 开启模型最高推理模式
- Temperature参数统一固定为0.7
- 单次运行预算上限10美元
- 单次测试最长时长2小时
- 单模型最大测试次数10次
受累计成本上涨影响，部分模型未能完成全部10轮测试。此外，本次实验已获得OpenAI安全研究授权，GPT系列模型不会因涉及漏洞分析、渗透测试相关操作触发安全拦截，保障了测试结果的完整性。
1500美元攻防实测：各大模型能力差距显著
在完成全部10轮标准化测试的模型中，GPT-5.5凭借绝对优势登顶，漏洞攻击成功率高达70%，成为本次实测的最优模型。
本次实验的核心漏洞突破口并非常规的客户端代码漏洞，也非后端API接口漏洞，而是应用关联的Firebase服务。GPT-5.5的核心优势十分突出：解压APK文件后，它能快速锁定Firebase核心攻击面，围绕该关键点开展精准攻坚，不会盲目消耗算力在无效环节。
反观多数失败的参测模型，普遍陷入统一误区：将绝大部分算力与时间耗费在客户端代码解析、后端API接口遍历上，从攻坚初期就偏离了正确方向，最终无法找到漏洞核心。
DeepSeek、Claude：有攻坚能力，但稳定性不足
DeepSeek V4 Pro综合表现位列第二，整体成功率为30%，虽不及GPT-5.5，但具备极强的成本优势。其单次测试平均成本仅0.19美元，远低于GPT-5.5单次6.62美元的开销，性价比优势显著。
不过该模型存在明显的路径依赖缺陷：10轮测试中，有5轮完全忽略核心突破口Firebase；剩余5轮虽成功定位目标服务，但其中2轮选择通过API间接利用认证漏洞，而非直接攻坚核心漏洞，大幅降低了成功率。
Claude系列的Sonnet、Opus模型则受制于安全机制。多轮测试记录显示，Claude多次推进至攻坚关键阶段，距离成功获取Flag仅一步之遥，却因触发模型自身安全护栏机制、超出预算限制被强制终止任务，整体表现“差临门一脚”。
Gemini：安全策略过度限制，未进入有效测试阶段
Gemini系列模型的表现极具特殊性。其中Gemini 3.1 Pro Preview在测试初期就直接拒绝执行全部攻防任务，从Token消耗数据可直观印证：该模型单次测试仅消耗约9000 Token，而其他参测模型的Token消耗普遍在10万至40万区间，相当于完全未开展漏洞分析工作。
升级后的Gemini 3.5 Flash略有改善，少数测试可正常进入源码解析、漏洞排查阶段，但每次临近核心突破步骤时，都会触发安全拦截机制终止任务，与Claude Opus的困境相似，最终无有效成功案例。
多款模型未完成全量测试，表现出人意料
受高额测试成本影响，部分模型未完成10轮全量测试，其中Qwen 3.7 Max的表现最令人意外。在正式评测前的预测试阶段，它是除GPT系列外，唯一成功完成完整攻防挑战的模型，曾被研究员寄予厚望。
但正式测试中，Qwen 3.7 Max未能复现优秀表现，攻坚思路极度固化，全程聚焦API接口的IDOR（不安全直接对象引用）漏洞，反复尝试无效路径。不仅成功率惨淡，资源消耗更是居高不下，单次测试平均消耗超730万Token，成为本次实验最“烧钱”的模型之一。
而Kimi K2.6的单次测试表现亮眼，仅参与1轮测试便成功完成攻防挑战，运算速度、资源消耗水平与DeepSeek V4 Pro接近。但受限于API并发调用限制，研究员未能扩大测试样本，无法统计其稳定成功率。
趣味核心发现：中外大模型安全对齐策略差异明显
本次实验除了量化的成功率、成本数据外，还暴露了中外大模型在安全对齐训练上的核心差异。
测试中观察到，多数海外模型在攻坚过程中，若识别出操作可能触及真实数据库、存在影响业务数据的风险，会主动终止攻击路径，优先规避潜在安全风险，趋于保守稳健。
而国产大模型普遍不存在这类顾虑，在发现数据库层面的漏洞利用机会时，会持续主动探索、推进攻坚流程，执行性更强。这一差异并非代表国产模型攻击能力更强，而是直观体现出国内外模型在训练逻辑、安全对齐规则上的不同取向。
行业趋势：AI自动化安全研究员时代即将到来？
Kasra坦言，这场实验并非严格的科学测评，更多是一场探索性测试，但它揭示了AI安全领域的关键发展趋势。
当下的大模型，早已突破单纯的代码生成、Bug修复、文案创作能力边界，已经具备自主解析系统架构、全面排查攻击面、主动挖掘潜在漏洞的实战能力。其中GPT-5.5的整体攻坚流程、漏洞研判思路，已经达到初级人工安全研究员的工作水准。
当然，现阶段AI距离成熟的自动化渗透测试专家仍有较大差距，存在路径固化、安全拦截、稳定性不足等诸多问题。但随着Agent智能体能力、工具调用精度、长上下文推理技术的持续迭代，AI自动化挖掘漏洞、完成攻防测试，必将成为AIGC最具落地价值的场景之一。
这场耗资1500美元的趣味实验，不是终点，而是AI安全自动化时代的全新起点。