AI Agent 上线后，别只盯调用成功率
很多团队第一次把 AI Agent 接进真实流程时，最容易盯住一个指标：调用成功率。
这个指标当然要看，但它只回答了一个很窄的问题：系统有没有正常返回。
生产环境里更重要的问题是：Agent 的建议有没有被业务采纳？人工有没有大量改写？工具失败是否集中在某几个外部依赖？高风险动作有没有被拦住？出错之后能不能回滚和补偿？
如果这些信号没有建立起来，一个 99% 调用成功率的 Agent，也可能只是稳定地产生低质量建议。
为什么调用成功率不够
接口成功率通常只覆盖模型调用、检索调用或工具调用有没有返回 2xx。它看不到下面这些问题：
- 输出可以返回，但业务人员完全不用。
- 建议看起来完整，但关键证据缺失。
- 工具调用成功，但参数选错了对象。
- 用户每次都要人工改一大段。
- Agent 被护栏拦截很多次，但没有人复盘原因。
- 出错后靠人工救火，没有固定补偿路径。
所以我更建议把上线后的监控拆成“可用、可信、可控”三层来看，而不是只看系统是否活着。
上线后先看 6 个生产信号
1. 建议采纳率
采纳率不是简单地问“用户点没点确认”，而是看 Agent 的输出是否进入了真实业务动作。
可以拆成三类：
- 直接采纳：用户基本不改，直接执行。
- 修改后采纳：用户改了一部分，再执行。
- 放弃：用户没有采用，或者转人工重做。
这个指标能很快暴露“demo 看起来不错，真实场景没人敢用”的问题。
2. 人工改动率
如果每条输出都要人改 60% 以上，系统不一定是失败，但它大概率还不是自动化系统。
这里可以记录：
- 标题、摘要、正文、参数分别被改了多少。
- 哪些字段最常被人工覆盖。
- 改动后是否提高了通过率或满意度。
人工改动不是噪音，它是非常有价值的训练信号和流程信号。
3. 工具失败分布
工具调用失败不要只记一个总数。要按错误类型和外部依赖拆开：
| 信号 | 应该记录什么 |
|---|---|
| 参数错误 | schema 校验失败、缺字段、格式不合法 |
| 权限错误 | 无权限、越权、审批未通过 |
| 外部依赖错误 | 超时、限流、5xx、连接失败 |
| 业务拒绝 | 库存不足、状态不允许、对象不存在 |
这样才能判断问题是在提示词、工具定义、权限模型，还是外部系统稳定性。
4. 高风险动作拦截率
生产 Agent 一旦能写数据、发消息、改配置、触发工单，就必须记录高风险动作的拦截情况。
这里要看两个方向：
- 拦得住：越权、金额超限、删除、批量操作是否被拦截。
- 别乱拦：正常业务动作是否频繁被误伤。
护栏不是摆设。拦截记录应该能回放到具体输入、工具、参数、规则和人工审批结果。
5. 回滚和补偿触发
有副作用的 Agent，不能只设计“成功路径”。
比如：
- 发错消息后是否能撤回或补发说明。
- 重复创建工单后是否能合并或关闭。
- 写错字段后是否能恢复上一个版本。
- 外部接口半成功时是否有补偿任务。
上线后要记录补偿触发次数、补偿是否成功、是否需要人工介入。这个指标比“有没有报错”更接近真实生产风险。
6. 审计链完整率
当业务问“为什么 Agent 当时这么做”时，系统不能只剩一句模型输出。
至少要能查到：
- 用户输入和上下文版本。
- 命中的知识、引用或检索结果。
- 模型、提示词和路由策略版本。
- 工具调用入参、出参、错误码和重试链路。
- 人工确认、拒绝或改写记录。
审计链完整率可以作为一个硬指标：关键事件是否都有可回放证据。
一个更实用的日志结构
不需要一开始就上很复杂的平台，但关键字段要先留出来：
{"trace_id":"agent-run-20260706-001","scenario":"support_ticket_triage","model_route":"fast_model_with_escalation","adoption":"edited_then_accepted","human_edit_ratio":0.32,"tool_calls":[{"tool":"create_ticket","status":"blocked","reason":"missing_required_approval"}],"risk_guardrail":{"triggered":true,"rule":"write_action_requires_human_confirm"},"audit_complete":true}这类结构化记录的价值，不只是排障。它还能帮助团队判断下一轮应该优化提示词、知识库、工具定义、权限规则，还是业务流程本身。
上线第一周怎么复盘
我通常会建议第一周不要急着扩大范围，而是先做一个轻量复盘：
- 抽样 20 到 50 条真实运行记录。
- 标出直接采纳、修改采纳、放弃三类。
- 把失败按“模型、知识、工具、权限、流程”归因。
- 看高风险拦截是否有误伤或漏拦。
- 检查每条关键动作是否能完整回放。
如果这些信号都比较健康，再考虑扩大场景或提高自动化比例。
小结
AI Agent 上线后，调用成功率只是底线，不是质量指标。
真正需要持续看的，是采纳率、人工改动率、工具失败分布、高风险动作拦截、回滚补偿和审计链完整率。
这些指标能帮助团队回答一个更关键的问题：这个 Agent 不是“能不能跑”，而是能不能在真实业务里被信任、被控制、被持续改进。