Files
Agent-Workbench/docs/CAPABILITIES.md
T

14 KiB
Raw Blame History

Agent Workbench 能力目标与验收矩阵

日期:2026-10-29。1.0.0为基础里程碑,1.1.0实现M1,1.2.0实现首个内置Git交付切片。下表保留1.0.0缺口与完整产品目标;每项完成范围以实际验证记录为准。

总体方案见 PRODUCT-PLAN.md,研究问题与来源见 RESEARCH-ROADMAP.md。

1. 能力的完成定义

“研究到机制”“模块实现”“契约检查通过”“真实工程验收通过”分别登记。只有实现进入产品、相关检查通过、用户场景有实际结果,才标为可交付。外部客户端的能力和本地其他项目中的模块,也分别记录,不能计入工作台现有能力。

1.0.0已有本地项目/对话、6个工具、文件提案与基线审核、命令确认/停止、JSON会话恢复、模型连接与诊断。已记录34项行为与19组界面检查,以及真实模型读取/提案/应用和原会话诊断。这些验证覆盖基础闭环,尚未覆盖持续完成真实工程任务。

2. 能力矩阵

1.1.0 M1已实现切片

  • C01/C02/C04/C14/C15/C23:原Task目标、追加要求、Run模型/预算与累计usage,SQLite事务、稳定工具身份、SHA256工件与断线事件补发。
  • C03/C09/C11:有界工程识别、只读Git基线、npm检查计划/job、真实测试统计与日志、源码变化后失效。当前支持Node/npm,尚无三类工程专用执行器或用户工程自动提交。
  • C08/C12/C13/C24:应用全部提案后继续原任务、读取保存的失败日志进行修复,封存四模块样本与独立验收器;多文件ChangeSet、依赖计划和长期恢复仍待M2/M4。
  • 完整M2/M6成功率验收、外部引擎、REA运行和Electron/PWA配对不计入上述实现。对应检查见QA-1.1,封存样本见四模块工程基准。

模块路径指 建议架构,不是当前目录结构。研究编号对应研究路线中的问题组。

1.2.0 M2已实现切片

  • C09/C13:Task绑定的Git预览、已审核文件的实际本地提交、其他工作区/暂存修改保留及JSON/Markdown报告;支持已有命名分支,尚无隔离worktree与自动合并。
  • C02/C07/C23:稳定plan/job身份、实际引用核对与9个真实退出切点、不重放提交;索引恢复只处理本次拥有的字节,外部变化保留需核对状态。
  • C11/C24:源码与Git基线分别验证,检查日志完整性和测试数量仍须满足;92项完整行为检查、9组桌面/390px交付界面通过。
  • C08、多类工程与完整M2/M6成功率仍待后续实施。范围见QA-1.2与Git交付契约。
ID / 能力 当前1.0.0基础与缺口 后续产品目标 参考问题 / 模块 / 阶段 必须看到的验收证据
C01 需求与任务规划 有对话和有限步数工具循环,没有任务依赖图 固定目标、约束和完成标准;拆任务、判断依赖、接收追加要求与重规划 CX-1、WB-1 / tasks / M1–M2 追加要求后仍保留原目标;任务完成由验收条件决定
C02 执行状态与恢复 会话JSON保存,active/waiters在内存;重启不重放命令 独立Task/Run/Step身份、持久事件、检查点与未知结果核对 CC-2、CU-1、DS-1 / storage、tasks / M1 在审批、调用、结果与落盘等切点中断;恢复不重复已完成副作用
C03 工程识别与索引 提供有界文件清单/文本搜索,没有工程索引 识别语言、入口、规则、脚本、依赖和Git;增量索引;符号/引用与必要的语义检索 CU-2、DS-3 / context / M2 对Node/React/Python样本定位实际修改入口;代码变动后索引更新
C04 上下文与项目归属 有提取式消息投影、运行诊断和当前项目资料 为Run组合需求、规则、代码、错误与验证结果;引用来源;严格绑定项目 CC-2、CU-1 / context、contracts / M1–M2 切换两个项目/任务后,错误与工具结果仍归属正确;大输出用工件引用
C05 长期项目记忆 保存聊天历史,没有可检验的长期事实 记住决策、约束、失败与有效做法;附commit/文件来源;失效重检;压缩保留目标和未完成项 CC-2、WB-1 / context、storage / M4 长任务压缩/重启后完成标准不丢;过期代码事实被更新或标记
C06 工具、Skills与MCP 固定6工具,没有动态注册或外部工具契约 工具注册、schema与能力声明;版本锁定Skills/MCP;安装/调用有来源和范围 CC-1、CU-1、WB-2 / tools / M3 未知工具、错误参数、工具失联有原调用身份;新工具可按契约接入
C07 执行控制 文件范围/基线检查、逐次命令确认与进程停止 操作范围、授权记录、预算、进程所有权、并发准入和取消传播;沿用用户已授权的范围 CC-1、CU-1、DS-1 / tools、tasks / M1–M4 过期授权不能用于新Run;停止只处理所属任务;修改后的输入重新校验
C08 精确编辑与多文件变更 完整替换单文件提案,有备份与冲突拒绝 patch、创建/改名/删除、多文件ChangeSet、基线校验、隔离应用与可恢复合并 CU-2 / workspaces / M2 跨4文件修改保留无关内容;外部改动引起冲突;部分失败有明确状态
C09 用户工程Git 本产品源码已建Git;界面内用户工程Git未实现 仓库/dirty状态、基线、任务分支/worktree、diff、审查后提交与合并 CX-1、CU-3、DS-3 / workspaces / M2 保留用户已有修改;每个交付可定位commit;冲突合并可审查
C10 长命令与开发服务 命令最长60秒,stdout/stderr分别截取32k字符 持久job、完整日志工件、心跳/退出码/超时、后台开发服务及所属进程树 DS-3、CU-3 / tools、artifacts / M2 超过60秒的检查可观察和停止;失联结果标未知;重启不擅自再运行
C11 真实检查与TestRunner 可执行命令,没有结构化检查计划与报告 识别真实项目检查;计划绑定planId,执行返回jobId;保存退出码、测试数和报告 DS-3 / tools / M2 构建失败、零测试、拒绝/取消均不算通过;结果绑定相同工作区与ChangeSet
C12 修复与代码审查 模型可根据普通工具输出继续,没有独立修复/审查闭环 从真实失败定位并有限轮修复;核对需求、diff、回归与风险;保留失败历史 CX-1、DS-3 / tasks、workspaces / M2–M4 能复现的失败先出现再修复;实际重跑通过;审查不能用“模型说成功”代替
C13 可交付成果 有提案/会话导出,没有工程交付清单 需求与结果对应、diff/commit、测试报告、运行方法、限制与工件引用 WB-1 / artifacts / M2–M6 用户按交付说明能启动并验证;报告与实际文件、检查及commit一致
C14 模型协议与路由 一个全局兼容连接;stream:false;基本usage记录 ModelProvider能力探测、流式文本/工具参数、模型配置快照、按任务角色路由与可解释回退 CX-2、DS-1 / models / M1、M3 支持/不支持的工具/流式能力可见;Run绑定实际模型;故障不串结果或重放工具
C15 预算与用量 可设上下文/输出/步数,没有任务总成本控制 时间、token、费用、步骤、重试与worker总预算;无进展检测;可配置价格与未知usage标记 CC-2、DS-2 / models、tasks / M1–M4 子任务/重试纳入总预算;耗尽时保存检查点;缺失usage不伪造准确费用
C16 多代理协作 单会话串行执行,没有worker调度 独立问题分工、上下文/预算隔离、独立worktree、结果与证据汇总、冲突合并 CC-1、CU-3、DS-2、WB-1 / tasks、workspaces / M4 两个独立任务并行完成可合并;重叠编辑被发现;父任务停止可传播
C17 REA能力研究 产品内展示既有研究报告,没有REA执行入口 目标清单、版本/hash、inventory/analyze/trace、分析job、Evidence查看与研究结论登记 全部目标 / tools、artifacts / M3 从能力结论能追到确切工件与Evidence;静态/运行证据和未知范围分别显示
C18 Purge增强实验 外部目录有1.1.78/1.1.81,未集成或验证收益 独立实验profile、兼容版本、策略分类、开关/回退和同题对照;有效机制按接口采纳 PG-1 / engines、models、tasks / M3 同模型/任务/预算重复比较成功率、成本与错误修改;插件失效可恢复基线
C19 外部代理引擎 尚无Codex/DeepSeek运行时适配 EngineAdapter管理握手、会话/进程、事件、停止/恢复和真实能力限制 CX-2、DS-1 / engines / M3 引擎事件有Task/Run映射;协议缺失能力明确;root idle不直接判工程完成
C20 浏览器与界面验证 开发者用Playwright验证产品,代理尚无浏览器工具 可选浏览器工具、页面状态/截图、请求/控制台结果、交互验收与开发预览 CU-2、WB-1 / tools、artifacts / M3–M6 React真实交互/失败场景可复现;结果含页面与任务身份,不只保存截图
C21 桌面产品 已有Windows浏览器便携包,没有原生桌面壳 Electron Windows安装/升级、后台执行宿主、工程/终端/diff/成果区和任务通知 产品方案 / desktop、gateway / M5 关闭窗口后可再查看任务;安装/升级保留数据;宿主进程生命周期明确
C22 手机伴随端 已验证390px响应式界面;仅绑定电脑127.0.0.1 PWA任务/进度/审查入口;配对网关与设备撤销;共用Run与事件游标 产品方案 / mobile、gateway / M5 实际手机连电脑并审查同一任务;断线补发不重复执行;失效设备不能授权
C23 数据、配置与发布迁移 Key仅内存、JSON与备份;便携/源码包已验证 用户主动配置凭据、系统凭据存储、数据库迁移/回退、版本兼容和日志导出 CX-2、DS-1 / storage、gateway、desktop / M1、M5–M6 升级副本与回退可验证;导出无Key;任务和来源不丢失
C24 工程能力评测 基础行为/UI及少量真实模型场景 封存真实工程任务、独立验收、重复运行和错误分类;追踪人工介入/成本/恢复 全部目标 / evaluation、artifacts / M1–M6 发布能力可链接实际任务记录;报告含失败样本与环境,不能只展示成功演示

3. 当前实现的源码锚点

  • provider.mjs:固定工具定义、深度3/160项的项目上下文、提取式投影、非流式模型请求。
  • runtime.mjs:有限循环、内存active/waiters、命令审批与60秒进程生命周期。
  • store.mjs:SQLite任务与事件、旧JSON迁移、备份与重启状态处理。
  • git-delivery.mjs:当前Task已审核文件的提交计划、独立索引/引用事务、结果核对和恢复。
  • delivery-report.mjs:实际检查与提交证据的JSON/Markdown报告。
  • files.mjs:最多400文件/8MB的搜索预算、单文件提案、基线与原文备份。
  • app.mjs:SSE快照、全局配置、默认12步/最高30步限制。快照revision与未来持久事件seq是两个概念。

提高步数或加入新的提示词,可以改变尝试次数和模型行为;工程索引、可靠恢复、编辑冲突控制和真实测试仍需要实际模块。

4. 首个真实工程交付切片

选择一个受控Node/TypeScript工程,固定基线commit和可复现问题。工作台先识别工程与检查脚本、建立任务和检查计划,再生成跨文件ChangeSet,在隔离工作区执行实际测试,根据真实失败有限轮修复,最后提供diff、报告和本地commit。

本切片涉及C01–C04、C07–C13、C15与C24。先覆盖最小实现和必要契约,再扩到React/Python样本;桌面壳、长期记忆和多个worker在基础闭环可验收后实施。

5. 发布指标与记录格式

首批6个受控任务用于开发和定位缺口;另设20个封存工程任务,开发中不按其答案调提示。重复运行至少3次,锁定模型/配置、工具、预算、环境和人工授权策略。覆盖新增功能、跨文件缺陷、界面交互、回归、上下文恢复及冲突处理。

指标 记录/门槛建议
完整工程任务成功率 同时满足需求、独立检查、diff审查与交付;M6暂定不少于80%,完成基线测量后校准并记录理由
关键确定性契约 任务/项目归属、过期授权、已完成工具不重放、原修改保留等检查全通过
测试真实性 记录实际命令/工作区/退出码/测试数;失败、零测试、取消不能伪报通过
质量与介入 记录错误改动、回归、人工代码修复/需求补充次数;分别统计必要授权点击
时间与费用 保存每题分布与同题对照;模型usage/价格未知时明确缺失,不承诺固定费用
恢复与长任务 记录崩溃切点、取消/重启结果、重复执行数和未完成项;在任务预算内完成
Purge/路由/worker收益 与同题基线比较;增加错误修改或隐性人工工作不能算收益

每项能力记录:能力ID → 研究来源 → 实现commit → 契约结果 → 工程任务/Run → 剩余限制。阶段验收和发布时间以这些记录为依据。