Files
Agent-Workbench/docs/CAPABILITIES.md
T
2026-10-30 00:13:52 +08:00

119 lines
17 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Agent Workbench 能力目标与验收矩阵
日期:2026-10-29。1.0.0为基础里程碑,1.1.0实现M1,1.2.0增加内置Git交付,1.3.0增加工程索引和精确补丁,1.4.0增加可恢复多文件变更集,1.5.0/1.5.1增加有界请求与可用工件分页,1.6.0增加独立Git工作区和审查收尾。下表保留1.0.0缺口与完整产品目标;每项完成范围以实际验证记录为准。
总体方案见 [PRODUCT-PLAN.md](PRODUCT-PLAN.md),研究问题与来源见 [RESEARCH-ROADMAP.md](RESEARCH-ROADMAP.md)。
## 1. 能力的完成定义
“研究到机制”“模块实现”“契约检查通过”“真实工程验收通过”分别登记。只有实现进入产品、相关检查通过、用户场景有实际结果,才标为可交付。外部客户端的能力和本地其他项目中的模块,也分别记录,不能计入工作台现有能力。
1.0.0已有本地项目/对话、6个工具、文件提案与基线审核、命令确认/停止、JSON会话恢复、模型连接与诊断。已记录34项行为与19组界面检查,以及真实模型读取/提案/应用和原会话诊断。这些验证覆盖基础闭环,尚未覆盖持续完成真实工程任务。
## 2. 能力矩阵
### 1.1.0 M1已实现切片
- C01/C02/C04/C14/C15/C23:原Task目标、追加要求、Run模型/预算与累计usage,SQLite事务、稳定工具身份、SHA256工件与断线事件补发。
- C03/C09/C11:有界工程识别、只读Git基线、npm检查计划/job、真实测试统计与日志、源码变化后失效。当前支持Node/npm,尚无三类工程专用执行器或用户工程自动提交。
- C08/C12/C13/C24:应用全部提案后继续原任务、读取保存的失败日志进行修复,封存四模块样本与独立验收器;多文件ChangeSet、依赖计划和长期恢复仍待M2/M4。
- 完整M2/M6成功率验收、外部引擎、REA运行和Electron/PWA配对不计入上述实现。对应检查见[QA-1.1](QA-1.1.md),封存样本见[四模块工程基准](../benchmarks/node-delivery-v1/README.md)。
模块路径指 [建议架构](PRODUCT-PLAN.md#4-建议架构一套执行核心多种入口),不是当前目录结构。研究编号对应研究路线中的问题组。
### 1.2.0 M2已实现切片
- C09/C13:Task绑定的Git预览、已审核文件的实际本地提交、其他工作区/暂存修改保留及JSON/Markdown报告;支持已有命名分支,尚无隔离worktree与自动合并。
- C02/C07/C23:稳定plan/job身份、实际引用核对与9个真实退出切点、不重放提交;索引恢复只处理本次拥有的字节,外部变化保留需核对状态。
- C11/C24:源码与Git基线分别验证,检查日志完整性和测试数量仍须满足;92项完整行为检查、9组桌面/390px交付界面通过。
- C08、多类工程与完整M2/M6成功率仍待后续实施。范围见[QA-1.2](QA-1.2.md)与[Git交付契约](GIT-DELIVERY.md)。
### 1.3.0 M2工程定位与精确补丁切片
- C03/C04:JS/TS/React静态AST声明与导入、Python声明候选、逐文件SHA256增量复用、依赖候选重算与当前项目绑定;工具工件有Task/Run归属。暂不提供编译器级引用、路径别名或动态模块解析。
- C08:唯一锚点/原SHA256的局部补丁、BOM和LF/CRLF保留、旧基线与重叠/重复锚点拒绝;继续由逐文件审查/备份流程应用,完整多文件ChangeSet仍待实现。
- C07/C23:只读Git检查禁用配置过滤脚本,统一清单排除依赖/凭据/链接;索引范围、格式、Unicode、项目切换、原文件行定位、工件恢复和API契约有实际检查。
- 完整112项行为/API/实际退出检查通过,新索引UI8组通过;源码/发行与真实模型工程验收以[验收记录](VALIDATION.md)为准。详见[索引与补丁契约](CODE-INDEX-AND-PATCHES.md)。React/Python真实工程交付、worktree和完整M2/M6仍继续实施。
### 1.4.0 M2多文件审查与恢复切片
- C08:同Task的1–32份提案封存指纹、Git与全部文件预检、原/新字节SHA256快照及整批审查;现阶段包含文本创建/修改,改名/删除与隔离worktree后续实现。
- C02/C07:逐文件意图/结果持久保存、真实退出后的显式核对/回退、外部内容和冲突暂存文件保护;未知结果不自动重放并阻止同项目继续写入。
- C04/C12:轮次上限后整批应用可继续原Task检查,其他停止原因保持原要求;切换项目清理临时错误提示、忽略过期批次响应。
- C13/C23:Git报告引用封存身份/指纹/实际状态与快照校验,桌面/390px整批确认及恢复入口。实际回归、包与真实模型结果见[QA-1.4](QA-1.4.md)。完整M2三类工程、M3引擎与M5桌面/配对尚待完成。
### 1.5.0 M2请求上下文与历史追溯切片
- C04:完整Task目标/追加要求/项目身份,完整协议组选择、原参数结果及SHA256封存;实际发送正文、历史运行与分页原记录可查看。
- C15:完整JSON输入估算、输出/安全余量和Run/Task累计预算预检,估算与服务实际用量分别记录;尚无价格表、费用或多worker总预算。
- C02/C13/C23:请求计划联网前持久保存、重启中断而不重放、损坏/缺失证据明确失败;报告深度核对正文、原组、分片及结果归属。
- 158项完整回归与62组界面通过。独立发行与真实模型结果见[QA-1.5](QA-1.5.md),worktree、React/Python完整工程和M2/M6成功率继续实施。
### 1.6.0 M2独立工作区与Git审查切片
- C07/C12:封存已提交HEAD和来源、宿主拥有的独立目录/分支及项目/会话身份;来源index/已有修改保留,创建不执行项目脚本或安装依赖。当前不提供合并和归档。
- C02/C04/C23:创建意图/实际PID/逐阶段结果持久保存;8个实际退出切点、只读显式核对、外部状态保留,Task/Run/模型上下文/报告绑定实际执行工作区。
- C12/C13:成功准备Git预览后保存审查边界并停止模型;后续同消息工具不执行且协议完整。确认后内核完成原Task与报告,不继续请求模型,预览可修改/撤回。
- 192项回归和72组界面通过;合成模型子工作区真实3项失败→3项通过/build/Git报告通过。不可变包、原进程更新与真实配置模型结果见[QA-1.6](QA-1.6.md),完整三类工程及M2/M6能力继续验收。
| ID / 能力 | 1.0.0基础与缺口 | 后续产品目标 | 参考问题 / 模块 / 阶段 | 必须看到的验收证据 |
| --- | --- | --- | --- | --- |
| C01 需求与任务规划 | 有对话和有限步数工具循环,没有任务依赖图 | 固定目标、约束和完成标准;拆任务、判断依赖、接收追加要求与重规划 | CX-1、WB-1 / tasks / M1–M2 | 追加要求后仍保留原目标;任务完成由验收条件决定 |
| C02 执行状态与恢复 | 会话JSON保存,active/waiters在内存;重启不重放命令 | 独立Task/Run/Step身份、持久事件、检查点与未知结果核对 | CC-2、CU-1、DS-1 / storage、tasks / M1 | 在审批、调用、结果与落盘等切点中断;恢复不重复已完成副作用 |
| C03 工程识别与索引 | 提供有界文件清单/文本搜索,没有工程索引 | 识别语言、入口、规则、脚本、依赖和Git;增量索引;符号/引用与必要的语义检索 | CU-2、DS-3 / context / M2 | 对Node/React/Python样本定位实际修改入口;代码变动后索引更新 |
| C04 上下文与项目归属 | 有提取式消息投影、运行诊断和当前项目资料 | 为Run组合需求、规则、代码、错误与验证结果;引用来源;严格绑定项目 | CC-2、CU-1 / context、contracts / M1–M2 | 切换两个项目/任务后,错误与工具结果仍归属正确;大输出用工件引用 |
| C05 长期项目记忆 | 保存聊天历史,没有可检验的长期事实 | 记住决策、约束、失败与有效做法;附commit/文件来源;失效重检;压缩保留目标和未完成项 | CC-2、WB-1 / context、storage / M4 | 长任务压缩/重启后完成标准不丢;过期代码事实被更新或标记 |
| C06 工具、Skills与MCP | 固定6工具,没有动态注册或外部工具契约 | 工具注册、schema与能力声明;版本锁定Skills/MCP;安装/调用有来源和范围 | CC-1、CU-1、WB-2 / tools / M3 | 未知工具、错误参数、工具失联有原调用身份;新工具可按契约接入 |
| C07 执行控制 | 文件范围/基线检查、逐次命令确认与进程停止 | 操作范围、授权记录、预算、进程所有权、并发准入和取消传播;沿用用户已授权的范围 | CC-1、CU-1、DS-1 / tools、tasks / M1–M4 | 过期授权不能用于新Run;停止只处理所属任务;修改后的输入重新校验 |
| C08 精确编辑与多文件变更 | 完整替换单文件提案,有备份与冲突拒绝 | patch、创建/改名/删除、多文件ChangeSet、基线校验、隔离应用与可恢复合并 | CU-2 / workspaces / M2 | 跨4文件修改保留无关内容;外部改动引起冲突;部分失败有明确状态 |
| C09 用户工程Git | 本产品源码已建Git;界面内用户工程Git未实现 | 仓库/dirty状态、基线、任务分支/worktree、diff、审查后提交与合并 | CX-1、CU-3、DS-3 / workspaces / M2 | 保留用户已有修改;每个交付可定位commit;冲突合并可审查 |
| C10 长命令与开发服务 | 命令最长60秒,stdout/stderr分别截取32k字符 | 持久job、完整日志工件、心跳/退出码/超时、后台开发服务及所属进程树 | DS-3、CU-3 / tools、artifacts / M2 | 超过60秒的检查可观察和停止;失联结果标未知;重启不擅自再运行 |
| C11 真实检查与TestRunner | 可执行命令,没有结构化检查计划与报告 | 识别真实项目检查;计划绑定planId,执行返回jobId;保存退出码、测试数和报告 | DS-3 / tools / M2 | 构建失败、零测试、拒绝/取消均不算通过;结果绑定相同工作区与ChangeSet |
| C12 修复与代码审查 | 模型可根据普通工具输出继续,没有独立修复/审查闭环 | 从真实失败定位并有限轮修复;核对需求、diff、回归与风险;保留失败历史 | CX-1、DS-3 / tasks、workspaces / M2–M4 | 能复现的失败先出现再修复;实际重跑通过;审查不能用“模型说成功”代替 |
| C13 可交付成果 | 有提案/会话导出,没有工程交付清单 | 需求与结果对应、diff/commit、测试报告、运行方法、限制与工件引用 | WB-1 / artifacts / M2–M6 | 用户按交付说明能启动并验证;报告与实际文件、检查及commit一致 |
| C14 模型协议与路由 | 一个全局兼容连接;stream:false;基本usage记录 | ModelProvider能力探测、流式文本/工具参数、模型配置快照、按任务角色路由与可解释回退 | CX-2、DS-1 / models / M1、M3 | 支持/不支持的工具/流式能力可见;Run绑定实际模型;故障不串结果或重放工具 |
| C15 预算与用量 | 可设上下文/输出/步数,没有任务总成本控制 | 时间、token、费用、步骤、重试与worker总预算;无进展检测;可配置价格与未知usage标记 | CC-2、DS-2 / models、tasks / M1–M4 | 子任务/重试纳入总预算;耗尽时保存检查点;缺失usage不伪造准确费用 |
| C16 多代理协作 | 单会话串行执行,没有worker调度 | 独立问题分工、上下文/预算隔离、独立worktree、结果与证据汇总、冲突合并 | CC-1、CU-3、DS-2、WB-1 / tasks、workspaces / M4 | 两个独立任务并行完成可合并;重叠编辑被发现;父任务停止可传播 |
| C17 REA能力研究 | 产品内展示既有研究报告,没有REA执行入口 | 目标清单、版本/hash、inventory/analyze/trace、分析job、Evidence查看与研究结论登记 | 全部目标 / tools、artifacts / M3 | 从能力结论能追到确切工件与Evidence;静态/运行证据和未知范围分别显示 |
| C18 Purge增强实验 | 外部目录有1.1.78/1.1.81,未集成或验证收益 | 独立实验profile、兼容版本、策略分类、开关/回退和同题对照;有效机制按接口采纳 | PG-1 / engines、models、tasks / M3 | 同模型/任务/预算重复比较成功率、成本与错误修改;插件失效可恢复基线 |
| C19 外部代理引擎 | 尚无Codex/DeepSeek运行时适配 | EngineAdapter管理握手、会话/进程、事件、停止/恢复和真实能力限制 | CX-2、DS-1 / engines / M3 | 引擎事件有Task/Run映射;协议缺失能力明确;root idle不直接判工程完成 |
| C20 浏览器与界面验证 | 开发者用Playwright验证产品,代理尚无浏览器工具 | 可选浏览器工具、页面状态/截图、请求/控制台结果、交互验收与开发预览 | CU-2、WB-1 / tools、artifacts / M3–M6 | React真实交互/失败场景可复现;结果含页面与任务身份,不只保存截图 |
| C21 桌面产品 | 已有Windows浏览器便携包,没有原生桌面壳 | Electron Windows安装/升级、后台执行宿主、工程/终端/diff/成果区和任务通知 | 产品方案 / desktop、gateway / M5 | 关闭窗口后可再查看任务;安装/升级保留数据;宿主进程生命周期明确 |
| C22 手机伴随端 | 已验证390px响应式界面;仅绑定电脑127.0.0.1 | PWA任务/进度/审查入口;配对网关与设备撤销;共用Run与事件游标 | 产品方案 / mobile、gateway / M5 | 实际手机连电脑并审查同一任务;断线补发不重复执行;失效设备不能授权 |
| C23 数据、配置与发布迁移 | Key仅内存、JSON与备份;便携/源码包已验证 | 用户主动配置凭据、系统凭据存储、数据库迁移/回退、版本兼容和日志导出 | CX-2、DS-1 / storage、gateway、desktop / M1、M5–M6 | 升级副本与回退可验证;导出无Key;任务和来源不丢失 |
| C24 工程能力评测 | 基础行为/UI及少量真实模型场景 | 封存真实工程任务、独立验收、重复运行和错误分类;追踪人工介入/成本/恢复 | 全部目标 / evaluation、artifacts / M1–M6 | 发布能力可链接实际任务记录;报告含失败样本与环境,不能只展示成功演示 |
## 3. 当前实现的源码锚点
- [provider.mjs](../src/server/provider.mjs):固定工具定义、有界项目/诊断状态、实际正文指纹核对及非流式模型请求;[request-plan.mjs](../src/core/context/request-plan.mjs)负责完整请求预算、协议组选择、可核验封存和历史追溯。
- [runtime.mjs](../src/server/runtime.mjs):有限循环、内存active/waiters、命令审批与60秒进程生命周期。
- [store.mjs](../src/server/store.mjs):SQLite任务与事件、旧JSON迁移、备份与重启状态处理。
- [git-delivery.mjs](../src/core/git-delivery.mjs):当前Task已审核文件的提交计划、独立索引/引用事务、结果核对和恢复。
- [delivery-report.mjs](../src/core/delivery-report.mjs):实际检查与提交证据的JSON/Markdown报告。
- [files.mjs](../src/server/files.mjs):最多400文件/8MB的搜索预算、单文件提案、基线与原文备份。
- [app.mjs](../src/server/app.mjs):SSE快照、全局配置、默认12步/最高30步限制。快照revision与未来持久事件seq是两个概念。
提高步数或加入新的提示词,可以改变尝试次数和模型行为;工程索引、可靠恢复、编辑冲突控制和真实测试仍需要实际模块。
## 4. 首个真实工程交付切片
选择一个受控Node/TypeScript工程,固定基线commit和可复现问题。工作台先识别工程与检查脚本、建立任务和检查计划,再生成跨文件ChangeSet,在隔离工作区执行实际测试,根据真实失败有限轮修复,最后提供diff、报告和本地commit。
本切片涉及C01–C04、C07–C13、C15与C24。先覆盖最小实现和必要契约,再扩到React/Python样本;桌面壳、长期记忆和多个worker在基础闭环可验收后实施。
## 5. 发布指标与记录格式
首批6个受控任务用于开发和定位缺口;另设20个封存工程任务,开发中不按其答案调提示。重复运行至少3次,锁定模型/配置、工具、预算、环境和人工授权策略。覆盖新增功能、跨文件缺陷、界面交互、回归、上下文恢复及冲突处理。
| 指标 | 记录/门槛建议 |
| --- | --- |
| 完整工程任务成功率 | 同时满足需求、独立检查、diff审查与交付;M6暂定不少于80%,完成基线测量后校准并记录理由 |
| 关键确定性契约 | 任务/项目归属、过期授权、已完成工具不重放、原修改保留等检查全通过 |
| 测试真实性 | 记录实际命令/工作区/退出码/测试数;失败、零测试、取消不能伪报通过 |
| 质量与介入 | 记录错误改动、回归、人工代码修复/需求补充次数;分别统计必要授权点击 |
| 时间与费用 | 保存每题分布与同题对照;模型usage/价格未知时明确缺失,不承诺固定费用 |
| 恢复与长任务 | 记录崩溃切点、取消/重启结果、重复执行数和未完成项;在任务预算内完成 |
| Purge/路由/worker收益 | 与同题基线比较;增加错误修改或隐性人工工作不能算收益 |
每项能力记录:`能力ID → 研究来源 → 实现commit → 契约结果 → 工程任务/Run → 剩余限制`。阶段验收和发布时间以这些记录为依据。