2026/7/5
核心思路
- 不用昂贵的大模型做数据清洗,改用多个廉价小模型 API 组成资源池
- 轮询调度 + 多路并发,榨干所有可用 API key 的吞吐量
- 分层调度:父代理派子代理,子代理直调 API
技术栈
| 组件 | 作用 |
|---|---|
| CPA(Cloud Proxy API) | API 网关,多 provider 轮询 + 冷却 fallback |
| opencode Task 工具 | 父代理派生子代理,天然支持并发 |
| 子代理(Sub-agent) | 每个处理 10 个 job,直接调 CPA |
| PROMPT.md | 任务规则文件,子代理自我读取 |
架构
CPA 配置 routing.strategy: round-robin # 轮询分配 session-affinity: false # 关粘性会话 可用 provider 池(已启用): agnes-2.0-flash 小水管user (deepseek-v4-flash 等) 小水管claude (deepseek-v4-flash) yjjhwjw (agnes-2.0-flash) SenseNova (deepseek-v4-flash)工作流程
pending/ 按 10 个一分 → batch_001 ~ batch_422 ↓ 父代理 A(前向 batch_001→211) 父代理 B(反向 batch_422→212) ↓ 循环派生子代理 ↓ 循环派生子代理 10 个子代理并行处理 10 个 batch 10 个子代理并行处理 10 个 batch ↓ 每子代理调 CPA ↓ 每子代理调 CPA CPA 轮询分配到不同 provider CPA 轮询分配到不同 provider ↓ ↓ 写 .decision.json 到原文件夹 写 .decision.json 到原文件夹关键设计
- 每 10 个 job 一个文件夹:最小工作单元,子代理零冲突
- 两路对进:前向 + 反向,避免文件锁竞争
- 自我发现:子代理只需读 PROMPT.md,自动知道做什么
- CPA 轮询:多个 provider 自动负载均衡,429 自动冷却换下一个
- 不移动文件:原地写 .decision.json,零搬运开销
适用场景
- 大量数据需要逐条做 AI 判断(切分、分类、标注等)
- 多个廉价 API 可用但单个有限速
- 需要高并发吞吐但预算有限
实际效果
- 4355 条 job,分批 422 个文件夹
- 20 个子代理并发(2 个父代理 × 10 个子代理)
- 预计 2~3 小时完成全部清洗