Files
Agent-Workbench/docs/CAPABILITIES.md
T

24 KiB
Raw Blame History

Agent Workbench 能力目标与验收矩阵

日期:2026-10-30。1.0.0为基础里程碑,1.1.0实现M1,1.2.0增加内置Git交付,1.3.0增加工程索引和精确补丁,1.4.0增加可恢复多文件变更集,1.5.0/1.5.1增加有界请求与可用工件分页,1.6.0增加独立Git工作区和审查收尾,1.6.1增加实际Task工作依据和文件预算分页。下表保留1.0.0缺口与完整产品目标;每项完成范围以实际验证记录为准。

总体方案见 PRODUCT-PLAN.md,研究问题与来源见 RESEARCH-ROADMAP.md。

1. 能力的完成定义

“研究到机制”“模块实现”“契约检查通过”“真实工程验收通过”分别登记。只有实现进入产品、相关检查通过、用户场景有实际结果,才标为可交付。外部客户端的能力和本地其他项目中的模块,也分别记录,不能计入工作台现有能力。

1.0.0已有本地项目/对话、6个工具、文件提案与基线审核、命令确认/停止、JSON会话恢复、模型连接与诊断。已记录34项行为与19组界面检查,以及真实模型读取/提案/应用和原会话诊断。这些验证覆盖基础闭环,尚未覆盖持续完成真实工程任务。

2. 能力矩阵

1.11.0 任务依赖与证据收尾(发行验收中)

  • C01/C02/C07/C12:Task/Run所属的1–12步依赖计划与不可变修订,目标、条件和实际证据绑定。读取、已应用变更集、当前检查与页面结果由内核核验,模型不能直接标记完成;未核验收尾暂停原Task,续接保留原操作。
  • C04/C11/C13:原计划与证明工件可逐字节核对,源码/构建/要求变化使步骤失效;Git预览及实际提交再次核对计划绑定,JSON/Markdown报告保留历史和未完成项。20项行为/API/真实进程专项已通过,最终源码分别记录。
  • C17/C20/C23:实际DOM提供唯一CSS定位及匹配数量,专业页面字段读取按原段/Run识别进展;任务计划桌面/390px的8组UI、证据关闭和迟到响应归属已验证,完整界面与发行状态见1.11验收。
  • 当前计划核验表示实际操作与所选技术范围已经满足;业务需求语义、总体自主成功率、长期项目记忆、外部引擎任务执行与桌面/手机配对继续单独实现和验收。

1.10.0 / 1.10.1 内置页面验收与升级修复

  • C06/C20:构建文件清单/SHA256与源码指纹双绑定,固定Playwright及本机Edge关键身份;独立静态预览和浏览器执行填写、选择、点击及可见性/文字/数量断言。
  • C02/C04/C07:每次计划/执行的Task、Run、原DOM、请求、步骤、PNG原字节与进程结束可核验;成功同版本复用,失败保留原实际值,停止/重启不自动重放。
  • C13/C20:页面验收接入Git预览、提交与JSON/Markdown报告;来源测试通过但页面失败或构建变化会阻止交付,实际浏览器/Git专项2项通过。
  • C17/C23:10组实际桌面/390px界面通过;新任务选定后,旧来源错误立即失效,原截图/JSON可查看和完整下载。完整源码、随包和真实模型验收分别见1.10记录。
  • 当前覆盖项目静态Web构建;动态后端联调、远程登录页面、桌面安装端、手机配对和完整业务需求验收继续开发。
  • 1.10.0独立274项及118组界面通过,原Provider升级完成;实模另暴露旧工件API兼容问题。1.10.1修复后16项相关回归通过,独立源码与实模复验分别记录,不能把旧完整回归当修复版结果。

1.9.0 引擎连接切片(已完成发行与正式本地升级)

  • C06/C17:检测已有DeepSeek Harness 0.2.1-rc.2,固定CLI/SDK/profile/Node关键输入,独立进程与SDK session绑定当前Project/Task/Run。真实原入口、启动完成信号、六方法协议与原进程关闭已核对。
  • C02/C04/C23:原输入与报告工件有归属及SHA256,错误/停止不改写成通过;重启不重放、不按历史PID停止进程。模型只读已有检查记录,连接检测不调用模型。
  • C17:桌面/390px可检测、核验、停止、显式重新核验、查看/下载原记录,10组界面及22项相关专项通过。见1.9验收。完整回归、发行及正式服务另行验收。
  • 当前范围为已安装外部引擎连接核验;外部prompt/工程工具写入、Codex运行时、Purge收益、桌面安装端与手机配对继续开发。

1.8.0 已完成发行与正式本地升级的切片

  • C06/C17:REA6.8.0固定stdio契约、用户工件登记、ASAR静态分析及PE导入/资源接入同一Task/Run;模型工具仅选择已登记工件。原Evidence/Bundle、目标SHA256、实际发现的工具契约和关闭记录分别封存。
  • C04/C15:原字段协议预算分页、同版本原证据核验复用、停止/失败/未知保留与重启不重放;11组桌面/390px实际界面及三类真实REA分析已通过,见研究界面。
  • C17/C23:嵌套证据窗口的键盘关闭与迟到响应归属已验证。内置范围为三项静态操作,不代表全部REA工具、动态观测、Purge实验或外部代理引擎已经集成。
  • C14/C24:最终独立源码244/244、完整98组界面、随包REA三项实际分析、离线构建及不可变归档通过;正式4318保留原PID/Provider及全部会话升级,见最终1.8验收。
  • C08/C09/C12/C24:真实配置模型续接同一原Task,四模块提案与整批应用、14/14测试、构建、CLI实际输出和工作台Git提交/报告通过;来源已有修改、index与所有保护输入保持。明确审批的单个样本与总体自主成功率分别记录,见真实工程。

1.7.0 已完成发行验收的切片

  • C04/C15:最新完整工具组过大时提供原结果可校验的必需反馈,连续相同工程状态暂停;旧发送视图按原版本核验。
  • C03/C07/C11/C13:Python静态声明识别、unittest/pytest实际运行、源码语法编译、封存解释器/源码/运行器/统计;界面可选择混合工程范围,Git与报告重新核对实际证据。
  • C08/C09/C12/C24:Python三模块HTTP隔离工作区交付和桌面/390px流程通过,5项失败变6/6通过;React四文件验收7项失败变9/9通过、真实tsc/Vite与浏览器筛选/搜索/精确切换通过。修复由受控API夹具提供,不作为真实模型成功率。
  • 当前结果不代表内置浏览器代理、动态引擎/REA调用、桌面壳或手机配对已完成。完整回归、不可变发行及原真实Task续接仍分别验收,见QA-1.7。

1.1.0 M1已实现切片

  • C01/C02/C04/C14/C15/C23:原Task目标、追加要求、Run模型/预算与累计usage,SQLite事务、稳定工具身份、SHA256工件与断线事件补发。
  • C03/C09/C11:有界工程识别、只读Git基线、npm检查计划/job、真实测试统计与日志、源码变化后失效。当前支持Node/npm,尚无三类工程专用执行器或用户工程自动提交。
  • C08/C12/C13/C24:应用全部提案后继续原任务、读取保存的失败日志进行修复,封存四模块样本与独立验收器;多文件ChangeSet、依赖计划和长期恢复仍待M2/M4。
  • 完整M2/M6成功率验收、外部引擎、REA运行和Electron/PWA配对不计入上述实现。对应检查见QA-1.1,封存样本见四模块工程基准。

模块路径指 建议架构,不是当前目录结构。研究编号对应研究路线中的问题组。

1.2.0 M2已实现切片

  • C09/C13:Task绑定的Git预览、已审核文件的实际本地提交、其他工作区/暂存修改保留及JSON/Markdown报告;支持已有命名分支,尚无隔离worktree与自动合并。
  • C02/C07/C23:稳定plan/job身份、实际引用核对与9个真实退出切点、不重放提交;索引恢复只处理本次拥有的字节,外部变化保留需核对状态。
  • C11/C24:源码与Git基线分别验证,检查日志完整性和测试数量仍须满足;92项完整行为检查、9组桌面/390px交付界面通过。
  • C08、多类工程与完整M2/M6成功率仍待后续实施。范围见QA-1.2与Git交付契约。

1.3.0 M2工程定位与精确补丁切片

  • C03/C04:JS/TS/React静态AST声明与导入、Python声明候选、逐文件SHA256增量复用、依赖候选重算与当前项目绑定;工具工件有Task/Run归属。暂不提供编译器级引用、路径别名或动态模块解析。
  • C08:唯一锚点/原SHA256的局部补丁、BOM和LF/CRLF保留、旧基线与重叠/重复锚点拒绝;继续由逐文件审查/备份流程应用,完整多文件ChangeSet仍待实现。
  • C07/C23:只读Git检查禁用配置过滤脚本,统一清单排除依赖/凭据/链接;索引范围、格式、Unicode、项目切换、原文件行定位、工件恢复和API契约有实际检查。
  • 完整112项行为/API/实际退出检查通过,新索引UI8组通过;源码/发行与真实模型工程验收以验收记录为准。详见索引与补丁契约。React/Python真实工程交付、worktree和完整M2/M6仍继续实施。

1.4.0 M2多文件审查与恢复切片

  • C08:同Task的1–32份提案封存指纹、Git与全部文件预检、原/新字节SHA256快照及整批审查;现阶段包含文本创建/修改,改名/删除与隔离worktree后续实现。
  • C02/C07:逐文件意图/结果持久保存、真实退出后的显式核对/回退、外部内容和冲突暂存文件保护;未知结果不自动重放并阻止同项目继续写入。
  • C04/C12:轮次上限后整批应用可继续原Task检查,其他停止原因保持原要求;切换项目清理临时错误提示、忽略过期批次响应。
  • C13/C23:Git报告引用封存身份/指纹/实际状态与快照校验,桌面/390px整批确认及恢复入口。实际回归、包与真实模型结果见QA-1.4。完整M2三类工程、M3引擎与M5桌面/配对尚待完成。

1.5.0 M2请求上下文与历史追溯切片

  • C04:完整Task目标/追加要求/项目身份,完整协议组选择、原参数结果及SHA256封存;实际发送正文、历史运行与分页原记录可查看。
  • C15:完整JSON输入估算、输出/安全余量和Run/Task累计预算预检,估算与服务实际用量分别记录;尚无价格表、费用或多worker总预算。
  • C02/C13/C23:请求计划联网前持久保存、重启中断而不重放、损坏/缺失证据明确失败;报告深度核对正文、原组、分片及结果归属。
  • 158项完整回归与62组界面通过。独立发行与真实模型结果见QA-1.5,worktree、React/Python完整工程和M2/M6成功率继续实施。

1.6.0 M2独立工作区与Git审查切片

  • C07/C12:封存已提交HEAD和来源、宿主拥有的独立目录/分支及项目/会话身份;来源index/已有修改保留,创建不执行项目脚本或安装依赖。当前不提供合并和归档。
  • C02/C04/C23:创建意图/实际PID/逐阶段结果持久保存;8个实际退出切点、只读显式核对、外部状态保留,Task/Run/模型上下文/报告绑定实际执行工作区。
  • C12/C13:成功准备Git预览后保存审查边界并停止模型;后续同消息工具不执行且协议完整。确认后内核完成原Task与报告,不继续请求模型,预览可修改/撤回。
  • 192项回归和72组界面通过;合成模型子工作区真实3项失败→3项通过/build/Git报告通过。不可变包、原进程更新与真实配置模型结果见QA-1.6,完整三类工程及M2/M6能力继续验收。
ID / 能力 1.0.0基础与缺口 后续产品目标 参考问题 / 模块 / 阶段 必须看到的验收证据
C01 需求与任务规划 有对话和有限步数工具循环,没有任务依赖图 固定目标、约束和完成标准;拆任务、判断依赖、接收追加要求与重规划 CX-1、WB-1 / tasks / M1–M2 追加要求后仍保留原目标;任务完成由验收条件决定
C02 执行状态与恢复 会话JSON保存,active/waiters在内存;重启不重放命令 独立Task/Run/Step身份、持久事件、检查点与未知结果核对 CC-2、CU-1、DS-1 / storage、tasks / M1 在审批、调用、结果与落盘等切点中断;恢复不重复已完成副作用
C03 工程识别与索引 提供有界文件清单/文本搜索,没有工程索引 识别语言、入口、规则、脚本、依赖和Git;增量索引;符号/引用与必要的语义检索 CU-2、DS-3 / context / M2 对Node/React/Python样本定位实际修改入口;代码变动后索引更新
C04 上下文与项目归属 有提取式消息投影、运行诊断和当前项目资料 为Run组合需求、规则、代码、错误与验证结果;引用来源;严格绑定项目 CC-2、CU-1 / context、contracts / M1–M2 切换两个项目/任务后,错误与工具结果仍归属正确;大输出用工件引用
C05 长期项目记忆 保存聊天历史,没有可检验的长期事实 记住决策、约束、失败与有效做法;附commit/文件来源;失效重检;压缩保留目标和未完成项 CC-2、WB-1 / context、storage / M4 长任务压缩/重启后完成标准不丢;过期代码事实被更新或标记
C06 工具、Skills与MCP 固定6工具,没有动态注册或外部工具契约 工具注册、schema与能力声明;版本锁定Skills/MCP;安装/调用有来源和范围 CC-1、CU-1、WB-2 / tools / M3 未知工具、错误参数、工具失联有原调用身份;新工具可按契约接入
C07 执行控制 文件范围/基线检查、逐次命令确认与进程停止 操作范围、授权记录、预算、进程所有权、并发准入和取消传播;沿用用户已授权的范围 CC-1、CU-1、DS-1 / tools、tasks / M1–M4 过期授权不能用于新Run;停止只处理所属任务;修改后的输入重新校验
C08 精确编辑与多文件变更 完整替换单文件提案,有备份与冲突拒绝 patch、创建/改名/删除、多文件ChangeSet、基线校验、隔离应用与可恢复合并 CU-2 / workspaces / M2 跨4文件修改保留无关内容;外部改动引起冲突;部分失败有明确状态
C09 用户工程Git 本产品源码已建Git;界面内用户工程Git未实现 仓库/dirty状态、基线、任务分支/worktree、diff、审查后提交与合并 CX-1、CU-3、DS-3 / workspaces / M2 保留用户已有修改;每个交付可定位commit;冲突合并可审查
C10 长命令与开发服务 命令最长60秒,stdout/stderr分别截取32k字符 持久job、完整日志工件、心跳/退出码/超时、后台开发服务及所属进程树 DS-3、CU-3 / tools、artifacts / M2 超过60秒的检查可观察和停止;失联结果标未知;重启不擅自再运行
C11 真实检查与TestRunner 可执行命令,没有结构化检查计划与报告 识别真实项目检查;计划绑定planId,执行返回jobId;保存退出码、测试数和报告 DS-3 / tools / M2 构建失败、零测试、拒绝/取消均不算通过;结果绑定相同工作区与ChangeSet
C12 修复与代码审查 模型可根据普通工具输出继续,没有独立修复/审查闭环 从真实失败定位并有限轮修复;核对需求、diff、回归与风险;保留失败历史 CX-1、DS-3 / tasks、workspaces / M2–M4 能复现的失败先出现再修复;实际重跑通过;审查不能用“模型说成功”代替
C13 可交付成果 有提案/会话导出,没有工程交付清单 需求与结果对应、diff/commit、测试报告、运行方法、限制与工件引用 WB-1 / artifacts / M2–M6 用户按交付说明能启动并验证;报告与实际文件、检查及commit一致
C14 模型协议与路由 一个全局兼容连接;stream:false;基本usage记录 ModelProvider能力探测、流式文本/工具参数、模型配置快照、按任务角色路由与可解释回退 CX-2、DS-1 / models / M1、M3 支持/不支持的工具/流式能力可见;Run绑定实际模型;故障不串结果或重放工具
C15 预算与用量 可设上下文/输出/步数,没有任务总成本控制 时间、token、费用、步骤、重试与worker总预算;无进展检测;可配置价格与未知usage标记 CC-2、DS-2 / models、tasks / M1–M4 子任务/重试纳入总预算;耗尽时保存检查点;缺失usage不伪造准确费用
C16 多代理协作 单会话串行执行,没有worker调度 独立问题分工、上下文/预算隔离、独立worktree、结果与证据汇总、冲突合并 CC-1、CU-3、DS-2、WB-1 / tasks、workspaces / M4 两个独立任务并行完成可合并;重叠编辑被发现;父任务停止可传播
C17 REA能力研究 产品内展示既有研究报告,没有REA执行入口 目标清单、版本/hash、inventory/analyze/trace、分析job、Evidence查看与研究结论登记 全部目标 / tools、artifacts / M3 从能力结论能追到确切工件与Evidence;静态/运行证据和未知范围分别显示
C18 Purge增强实验 外部目录有1.1.78/1.1.81,未集成或验证收益 独立实验profile、兼容版本、策略分类、开关/回退和同题对照;有效机制按接口采纳 PG-1 / engines、models、tasks / M3 同模型/任务/预算重复比较成功率、成本与错误修改;插件失效可恢复基线
C19 外部代理引擎 尚无Codex/DeepSeek运行时适配 EngineAdapter管理握手、会话/进程、事件、停止/恢复和真实能力限制 CX-2、DS-1 / engines / M3 引擎事件有Task/Run映射;协议缺失能力明确;root idle不直接判工程完成
C20 浏览器与界面验证 开发者用Playwright验证产品,代理尚无浏览器工具 可选浏览器工具、页面状态/截图、请求/控制台结果、交互验收与开发预览 CU-2、WB-1 / tools、artifacts / M3–M6 React真实交互/失败场景可复现;结果含页面与任务身份,不只保存截图
C21 桌面产品 已有Windows浏览器便携包,没有原生桌面壳 Electron Windows安装/升级、后台执行宿主、工程/终端/diff/成果区和任务通知 产品方案 / desktop、gateway / M5 关闭窗口后可再查看任务;安装/升级保留数据;宿主进程生命周期明确
C22 手机伴随端 已验证390px响应式界面;仅绑定电脑127.0.0.1 PWA任务/进度/审查入口;配对网关与设备撤销;共用Run与事件游标 产品方案 / mobile、gateway / M5 实际手机连电脑并审查同一任务;断线补发不重复执行;失效设备不能授权
C23 数据、配置与发布迁移 Key仅内存、JSON与备份;便携/源码包已验证 用户主动配置凭据、系统凭据存储、数据库迁移/回退、版本兼容和日志导出 CX-2、DS-1 / storage、gateway、desktop / M1、M5–M6 升级副本与回退可验证;导出无Key;任务和来源不丢失
C24 工程能力评测 基础行为/UI及少量真实模型场景 封存真实工程任务、独立验收、重复运行和错误分类;追踪人工介入/成本/恢复 全部目标 / evaluation、artifacts / M1–M6 发布能力可链接实际任务记录;报告含失败样本与环境,不能只展示成功演示

1.6.1 M2实际工作依据切片

  • C04/C12:混合大工具组中的实际源码和执行结果独立投影,绑定同Task、Run、调用、原结果和消息组;视图不是新工具执行,原协议消息保持完整。应用后的旧文件版本和失效检查不参与当前依据。
  • C13/C23:发送正文、封存工作依据和原结果的逐层校验、报告引用与桌面/390px查看入口。旧请求依照发送时的原历史校验,后续编辑不会改写旧证据。
  • C15:文件读取按当前完整JSON预算分页,保留UTF-8/Unicode、原文件哈希和原行范围。可选工作视图不占用下一工具页的必需预算。
  • 原失败历史离线投影证明四模块/构建全文及测试摘录可见,0模型/命令执行;实际配置模型的续接、独立发行与最终回归分别见QA-1.6.1。不据此宣称工程成功率或成本提升。

3. 当前实现的源码锚点

1.6.2补充C04/C12/C13/C15:工作依据优先于大历史定位页,同SHA256的更宽实际读取可复用;原结果导航、视图版本与单独保留预算进入封存和报告。旧版完整来源发送视图保持可核验。具体回归、独立发行与实际Task续接见QA-1.6.2。

  • provider.mjs:固定工具定义、有界项目/诊断状态、实际正文指纹核对及非流式模型请求;request-plan.mjs负责完整请求预算、协议组选择、可核验封存和历史追溯。
  • runtime.mjs:有限循环、内存active/waiters、命令审批与60秒进程生命周期。
  • store.mjs:SQLite任务与事件、旧JSON迁移、备份与重启状态处理。
  • git-delivery.mjs:当前Task已审核文件的提交计划、独立索引/引用事务、结果核对和恢复。
  • delivery-report.mjs:实际检查与提交证据的JSON/Markdown报告。
  • files.mjs:最多400文件/8MB的搜索预算、单文件提案、基线与原文备份。
  • app.mjs:SSE快照、全局配置、默认12步/最高30步限制。快照revision与未来持久事件seq是两个概念。

提高步数或加入新的提示词,可以改变尝试次数和模型行为;工程索引、可靠恢复、编辑冲突控制和真实测试仍需要实际模块。

4. 首个真实工程交付切片

选择一个受控Node/TypeScript工程,固定基线commit和可复现问题。工作台先识别工程与检查脚本、建立任务和检查计划,再生成跨文件ChangeSet,在隔离工作区执行实际测试,根据真实失败有限轮修复,最后提供diff、报告和本地commit。

本切片涉及C01–C04、C07–C13、C15与C24。先覆盖最小实现和必要契约,再扩到React/Python样本;桌面壳、长期记忆和多个worker在基础闭环可验收后实施。

5. 发布指标与记录格式

首批6个受控任务用于开发和定位缺口;另设20个封存工程任务,开发中不按其答案调提示。重复运行至少3次,锁定模型/配置、工具、预算、环境和人工授权策略。覆盖新增功能、跨文件缺陷、界面交互、回归、上下文恢复及冲突处理。

指标 记录/门槛建议
完整工程任务成功率 同时满足需求、独立检查、diff审查与交付;M6暂定不少于80%,完成基线测量后校准并记录理由
关键确定性契约 任务/项目归属、过期授权、已完成工具不重放、原修改保留等检查全通过
测试真实性 记录实际命令/工作区/退出码/测试数;失败、零测试、取消不能伪报通过
质量与介入 记录错误改动、回归、人工代码修复/需求补充次数;分别统计必要授权点击
时间与费用 保存每题分布与同题对照;模型usage/价格未知时明确缺失,不承诺固定费用
恢复与长任务 记录崩溃切点、取消/重启结果、重复执行数和未完成项;在任务预算内完成
Purge/路由/worker收益 与同题基线比较;增加错误修改或隐性人工工作不能算收益

每项能力记录:能力ID → 研究来源 → 实现commit → 契约结果 → 工程任务/Run → 剩余限制。阶段验收和发布时间以这些记录为依据。