12 KiB
Agent Workbench 能力目标与验收矩阵
日期:2026-10-29。当前产品:1.0.0基础里程碑。下表的目标、模块和阶段均是后续开发计划,不能作为已经交付的功能宣传。
总体方案见 PRODUCT-PLAN.md,研究问题与来源见 RESEARCH-ROADMAP.md。
1. 能力的完成定义
“研究到机制”“模块实现”“契约检查通过”“真实工程验收通过”分别登记。只有实现进入产品、相关检查通过、用户场景有实际结果,才标为可交付。外部客户端的能力和本地其他项目中的模块,也分别记录,不能计入工作台现有能力。
1.0.0已有本地项目/对话、6个工具、文件提案与基线审核、命令确认/停止、JSON会话恢复、模型连接与诊断。已记录34项行为与19组界面检查,以及真实模型读取/提案/应用和原会话诊断。这些验证覆盖基础闭环,尚未覆盖持续完成真实工程任务。
2. 能力矩阵
模块路径指 建议架构,不是当前目录结构。研究编号对应研究路线中的问题组。
| ID / 能力 | 当前1.0.0基础与缺口 | 后续产品目标 | 参考问题 / 模块 / 阶段 | 必须看到的验收证据 |
|---|---|---|---|---|
| C01 需求与任务规划 | 有对话和有限步数工具循环,没有任务依赖图 | 固定目标、约束和完成标准;拆任务、判断依赖、接收追加要求与重规划 | CX-1、WB-1 / tasks / M1–M2 | 追加要求后仍保留原目标;任务完成由验收条件决定 |
| C02 执行状态与恢复 | 会话JSON保存,active/waiters在内存;重启不重放命令 | 独立Task/Run/Step身份、持久事件、检查点与未知结果核对 | CC-2、CU-1、DS-1 / storage、tasks / M1 | 在审批、调用、结果与落盘等切点中断;恢复不重复已完成副作用 |
| C03 工程识别与索引 | 提供有界文件清单/文本搜索,没有工程索引 | 识别语言、入口、规则、脚本、依赖和Git;增量索引;符号/引用与必要的语义检索 | CU-2、DS-3 / context / M2 | 对Node/React/Python样本定位实际修改入口;代码变动后索引更新 |
| C04 上下文与项目归属 | 有提取式消息投影、运行诊断和当前项目资料 | 为Run组合需求、规则、代码、错误与验证结果;引用来源;严格绑定项目 | CC-2、CU-1 / context、contracts / M1–M2 | 切换两个项目/任务后,错误与工具结果仍归属正确;大输出用工件引用 |
| C05 长期项目记忆 | 保存聊天历史,没有可检验的长期事实 | 记住决策、约束、失败与有效做法;附commit/文件来源;失效重检;压缩保留目标和未完成项 | CC-2、WB-1 / context、storage / M4 | 长任务压缩/重启后完成标准不丢;过期代码事实被更新或标记 |
| C06 工具、Skills与MCP | 固定6工具,没有动态注册或外部工具契约 | 工具注册、schema与能力声明;版本锁定Skills/MCP;安装/调用有来源和范围 | CC-1、CU-1、WB-2 / tools / M3 | 未知工具、错误参数、工具失联有原调用身份;新工具可按契约接入 |
| C07 执行控制 | 文件范围/基线检查、逐次命令确认与进程停止 | 操作范围、授权记录、预算、进程所有权、并发准入和取消传播;沿用用户已授权的范围 | CC-1、CU-1、DS-1 / tools、tasks / M1–M4 | 过期授权不能用于新Run;停止只处理所属任务;修改后的输入重新校验 |
| C08 精确编辑与多文件变更 | 完整替换单文件提案,有备份与冲突拒绝 | patch、创建/改名/删除、多文件ChangeSet、基线校验、隔离应用与可恢复合并 | CU-2 / workspaces / M2 | 跨4文件修改保留无关内容;外部改动引起冲突;部分失败有明确状态 |
| C09 用户工程Git | 本产品源码已建Git;界面内用户工程Git未实现 | 仓库/dirty状态、基线、任务分支/worktree、diff、审查后提交与合并 | CX-1、CU-3、DS-3 / workspaces / M2 | 保留用户已有修改;每个交付可定位commit;冲突合并可审查 |
| C10 长命令与开发服务 | 命令最长60秒,stdout/stderr分别截取32k字符 | 持久job、完整日志工件、心跳/退出码/超时、后台开发服务及所属进程树 | DS-3、CU-3 / tools、artifacts / M2 | 超过60秒的检查可观察和停止;失联结果标未知;重启不擅自再运行 |
| C11 真实检查与TestRunner | 可执行命令,没有结构化检查计划与报告 | 识别真实项目检查;计划绑定planId,执行返回jobId;保存退出码、测试数和报告 | DS-3 / tools / M2 | 构建失败、零测试、拒绝/取消均不算通过;结果绑定相同工作区与ChangeSet |
| C12 修复与代码审查 | 模型可根据普通工具输出继续,没有独立修复/审查闭环 | 从真实失败定位并有限轮修复;核对需求、diff、回归与风险;保留失败历史 | CX-1、DS-3 / tasks、workspaces / M2–M4 | 能复现的失败先出现再修复;实际重跑通过;审查不能用“模型说成功”代替 |
| C13 可交付成果 | 有提案/会话导出,没有工程交付清单 | 需求与结果对应、diff/commit、测试报告、运行方法、限制与工件引用 | WB-1 / artifacts / M2–M6 | 用户按交付说明能启动并验证;报告与实际文件、检查及commit一致 |
| C14 模型协议与路由 | 一个全局兼容连接;stream:false;基本usage记录 | ModelProvider能力探测、流式文本/工具参数、模型配置快照、按任务角色路由与可解释回退 | CX-2、DS-1 / models / M1、M3 | 支持/不支持的工具/流式能力可见;Run绑定实际模型;故障不串结果或重放工具 |
| C15 预算与用量 | 可设上下文/输出/步数,没有任务总成本控制 | 时间、token、费用、步骤、重试与worker总预算;无进展检测;可配置价格与未知usage标记 | CC-2、DS-2 / models、tasks / M1–M4 | 子任务/重试纳入总预算;耗尽时保存检查点;缺失usage不伪造准确费用 |
| C16 多代理协作 | 单会话串行执行,没有worker调度 | 独立问题分工、上下文/预算隔离、独立worktree、结果与证据汇总、冲突合并 | CC-1、CU-3、DS-2、WB-1 / tasks、workspaces / M4 | 两个独立任务并行完成可合并;重叠编辑被发现;父任务停止可传播 |
| C17 REA能力研究 | 产品内展示既有研究报告,没有REA执行入口 | 目标清单、版本/hash、inventory/analyze/trace、分析job、Evidence查看与研究结论登记 | 全部目标 / tools、artifacts / M3 | 从能力结论能追到确切工件与Evidence;静态/运行证据和未知范围分别显示 |
| C18 Purge增强实验 | 外部目录有1.1.78/1.1.81,未集成或验证收益 | 独立实验profile、兼容版本、策略分类、开关/回退和同题对照;有效机制按接口采纳 | PG-1 / engines、models、tasks / M3 | 同模型/任务/预算重复比较成功率、成本与错误修改;插件失效可恢复基线 |
| C19 外部代理引擎 | 尚无Codex/DeepSeek运行时适配 | EngineAdapter管理握手、会话/进程、事件、停止/恢复和真实能力限制 | CX-2、DS-1 / engines / M3 | 引擎事件有Task/Run映射;协议缺失能力明确;root idle不直接判工程完成 |
| C20 浏览器与界面验证 | 开发者用Playwright验证产品,代理尚无浏览器工具 | 可选浏览器工具、页面状态/截图、请求/控制台结果、交互验收与开发预览 | CU-2、WB-1 / tools、artifacts / M3–M6 | React真实交互/失败场景可复现;结果含页面与任务身份,不只保存截图 |
| C21 桌面产品 | 已有Windows浏览器便携包,没有原生桌面壳 | Electron Windows安装/升级、后台执行宿主、工程/终端/diff/成果区和任务通知 | 产品方案 / desktop、gateway / M5 | 关闭窗口后可再查看任务;安装/升级保留数据;宿主进程生命周期明确 |
| C22 手机伴随端 | 已验证390px响应式界面;仅绑定电脑127.0.0.1 | PWA任务/进度/审查入口;配对网关与设备撤销;共用Run与事件游标 | 产品方案 / mobile、gateway / M5 | 实际手机连电脑并审查同一任务;断线补发不重复执行;失效设备不能授权 |
| C23 数据、配置与发布迁移 | Key仅内存、JSON与备份;便携/源码包已验证 | 用户主动配置凭据、系统凭据存储、数据库迁移/回退、版本兼容和日志导出 | CX-2、DS-1 / storage、gateway、desktop / M1、M5–M6 | 升级副本与回退可验证;导出无Key;任务和来源不丢失 |
| C24 工程能力评测 | 基础行为/UI及少量真实模型场景 | 封存真实工程任务、独立验收、重复运行和错误分类;追踪人工介入/成本/恢复 | 全部目标 / evaluation、artifacts / M1–M6 | 发布能力可链接实际任务记录;报告含失败样本与环境,不能只展示成功演示 |
3. 当前实现的源码锚点
- provider.mjs:固定工具定义、深度3/160项的项目上下文、提取式投影、非流式模型请求。
- runtime.mjs:有限循环、内存active/waiters、命令审批与60秒进程生命周期。
- store.mjs:JSON会话存储、备份与重启状态处理。
- files.mjs:最多400文件/8MB的搜索预算、单文件提案、基线与原文备份。
- app.mjs:SSE快照、全局配置、默认12步/最高30步限制。快照revision与未来持久事件seq是两个概念。
提高步数或加入新的提示词,可以改变尝试次数和模型行为;工程索引、可靠恢复、编辑冲突控制和真实测试仍需要实际模块。
4. 首个真实工程交付切片
选择一个受控Node/TypeScript工程,固定基线commit和可复现问题。工作台先识别工程与检查脚本、建立任务和检查计划,再生成跨文件ChangeSet,在隔离工作区执行实际测试,根据真实失败有限轮修复,最后提供diff、报告和本地commit。
本切片涉及C01–C04、C07–C13、C15与C24。先覆盖最小实现和必要契约,再扩到React/Python样本;桌面壳、长期记忆和多个worker在基础闭环可验收后实施。
5. 发布指标与记录格式
首批6个受控任务用于开发和定位缺口;另设20个封存工程任务,开发中不按其答案调提示。重复运行至少3次,锁定模型/配置、工具、预算、环境和人工授权策略。覆盖新增功能、跨文件缺陷、界面交互、回归、上下文恢复及冲突处理。
| 指标 | 记录/门槛建议 |
|---|---|
| 完整工程任务成功率 | 同时满足需求、独立检查、diff审查与交付;M6暂定不少于80%,完成基线测量后校准并记录理由 |
| 关键确定性契约 | 任务/项目归属、过期授权、已完成工具不重放、原修改保留等检查全通过 |
| 测试真实性 | 记录实际命令/工作区/退出码/测试数;失败、零测试、取消不能伪报通过 |
| 质量与介入 | 记录错误改动、回归、人工代码修复/需求补充次数;分别统计必要授权点击 |
| 时间与费用 | 保存每题分布与同题对照;模型usage/价格未知时明确缺失,不承诺固定费用 |
| 恢复与长任务 | 记录崩溃切点、取消/重启结果、重复执行数和未完成项;在任务预算内完成 |
| Purge/路由/worker收益 | 与同题基线比较;增加错误修改或隐性人工工作不能算收益 |
每项能力记录:能力ID → 研究来源 → 实现commit → 契约结果 → 工程任务/Run → 剩余限制。阶段验收和发布时间以这些记录为依据。