Files
Agent-Workbench/docs/VALIDATION.md
T

9.0 KiB
Raw Blame History

Agent Workbench 验收记录

1.1.0 · M1可靠内核与工程切片

2026-10-29,Windows x64,Node24.22.1,Edge156.0.4314.42。TypeScript/Vite/esbuild构建通过。完整68项行为/API/进程退出恢复检查通过,0失败/跳过/取消;新增Task/Run、SQLite事务、工件损坏、预算、工程检查与审核后继续的覆盖。

验证 结果 结构化证据
完整行为/API/实际退出与升级 68/68通过 m1-tests-validation.json
基础界面 10/10通过 m1-ui-validation.json
模型错误与诊断界面 9/9通过 m1-diagnostics-ui-validation.json
任务、工件、断流、预算和审核后继续 7/7通过 m1-execution-ui-validation.json
1.1.0便携宿主与随附npm 启动/复用/停止及4项真实示例测试通过 m1-release-validation.json
源码ZIP独立安装、构建和回归 离线安装、6份构建文件逐字节匹配、68/68通过 m1-source-package-validation.json
两个ZIP的CRC、路径、清单与散列 全部通过 m1-archives-validation.json
正式原进程升级 1.1.0、同PID/内存连接、3项目/9会话及历史hash保留 m1-upgrade-live-validation.json
真实模型四模块交付 13项失败→四模块修复→14/14及构建通过,同Task/2Run/1次审查/81秒 m1-live-delivery-validation.json

26组界面流程的页面异常/请求失败均为0,覆盖桌面和390px。已目视核对任务、差异和手机日志弹窗:标题、hash、正文、关闭/分页及固定任务输入区均可用,无遮挡或横向溢出。新增继续按钮使用明确的可访问名称。

首次完整回归曾出现Windows进程fixture的ECONNRESET,旧版升级控制请求改用独立HTTP连接并记录失败阶段后,完整68项复验通过。专项第一次收尾因按钮名称包含说明文字而定位超时,补齐aria-label并完成7组任务UI复验。失败记录保留在findings.md,未重放迁移或命令来掩盖问题。

1.1.0实现Node/npm工程切片;三类工程完整M2验收、任务依赖图、外部引擎、REA执行和桌面/手机配对仍在后续阶段。真实模型样本的审查次数与用量单独报告。

真实模型gpt-6.1-sol完成normalize/summary/render/cli四模块,仅修改允许的源文件。封存14项测试、fixtures、构建脚本和package保留;9个保护输入hash以及已有owner修改和未跟踪文件核对通过。验收器核对并应用一次四文件提案,通过「继续检查与交付」进入原Task的第2轮;最终实际测试14/14和构建通过,构建CLI结果一致。仅四个源文件进入本地交付commit b17492ca0fb9d6ea562290f3857b1c4c06bf6bf2。

该样本的Git提交由验收器完成,尚不属于1.1.0界面内的Git能力;后续M2将其内置。验收器的脚本确认、提案审查/应用和Git提交均属于已记录的介入,不能把此结果称为完全无人参与交付。可运行成果见Delivery Report示例。

以下保留1.0.0基线验收。

验收日期:2026-10-29(Asia/Shanghai)。环境:Windows x64,Node.js 24.22.1,npm 11.19.1,Microsoft Edge 156.0.4314.42。自动化验证使用独立项目和数据目录,正式用户会话验证单独记录。

构建与行为

TypeScript、Vite与esbuild构建通过。34项行为测试全部通过,零失败、零跳过。主要覆盖:

  • 真实本地HTTP工具循环、稳定调用ID、输入校验、上下文投影和保存/恢复配对。
  • 提案审核前不写盘、基线冲突、原字节备份、项目路径和外部junction处理。
  • 命令确认、拒绝、取消、进程树停止、UTF-8分块与中文PowerShell到Node管道。
  • 可读的PowerShell 5.1解析错误及原生命令退出码。
  • 工具完成后模型请求失败、有限重试、耗尽后恢复;确认后的计数命令仍只执行一次。
  • 401错误脱敏且不重试,429按服务Retry-After等待后恢复,503临时失败、非JSON及过大响应。
  • 本地诊断使用真实错误和当前applied状态,旧fetch failed推导明确标记缺少底层连接原因。
  • 真实旧版进程的原进程升级,保留PID、文件、会话和合成内存连接,后续认证成功并关闭调试端口。

新版本自带示例同步用户已应用的多关键词搜索改进,4项示例测试通过。原用户项目留在其原路径。

基础浏览器

独立测试地址 http://127.0.0.1:4319,1440/780/390 px下10组流程全部通过,页面异常和请求失败均为零。覆盖打开项目与文件、命令确认/拒绝、差异应用、手动提案、快速切换项目/文件/会话、延迟旧响应、刷新/导出、手机抽屉、研究报告与模型设置的兼容接口循环。

结构化记录:ui-validation.json。截图已目视核对顶部、输入框、差异颜色和操作位置。

异常专项浏览器

9组全部通过,页面异常和请求失败均为零。测试以受控HTTP模型服务产生真实API响应:

  1. 验证临时模型响应,再保存连接;验证时已有配置保持不变。
  2. 项目读取成功后连续HTTP 503,展示分类错误、三次请求和运行诊断。
  3. 手动重试保留原工具结果,不重复用户回合或项目读取。
  4. 用户追问错误,模型通过inspect_session取得本地记录,回复显示Markdown且不搜索项目fetch。
  5. 运行中不能应用文件,待审查显示审核入口,应用后内容一致。
  6. 用户确认中文PowerShell管道,Node输出保留中文。
  7. HTTP 401只请求一次;390 px的错误与诊断按钮可用。
  8. 停止退避后不发第二次请求,任务已暂停,诊断显示最近请求已停止。
  9. 临时HTTP故障在有限请求内自动恢复。

结构化记录:diagnostics-ui-validation.json。

便携包与正式升级

Windows x64便携包已通过独立启动、同PID复用、命令确认、随附Node.js 24.22.1执行、示例/静态页面/四份报告和优雅停止。测试端口4320,使用独立数据目录,PATH移除系统Node/npm。记录见 release-validation.json;最终文件数量和SHA256以各发行目录的MANIFEST.json为准,ZIP散列见releases/latest.json。

便携与源码ZIP均已通过CRC、路径、清单完整性、文件大小/SHA256、ZIP SHA256及归档与发行目录逐文件比对。源码ZIP独立解压后,离线安装锁定依赖、TypeScript/Vite/两份服务端构建和34项行为测试全部通过,包含源码内置的旧版升级fixture。记录见 source-package-validation.json。

正式4318已从0.1.0升级到1.0.0,保留PID23080、2个项目、3个会话和原内存模型连接。原项目仍位于原路径,两个文件状态均为applied。升级脚本没有读取、导出或复制Key,完成后关闭本次启用的本地调试端口。记录见 upgrade-live-validation.json。

实际配置模型

用户的gpt-6.1-sol连接已在0.1.0完成真实read_file、propose_file与审核应用,见模型连接实测。1.0.0进一步在原会话提出自然错误问题,真实模型在22秒内先inspect_session,再只读核对点名的两个文件;正确说明历史fetch failed来自模型请求、旧版缺少底层原因和两个applied状态。

验收确认没有项目搜索、新提案或终端命令;原消息前缀、提案状态及两个文件的SHA256保持一致。完整结果和原回答见 live-session-validation.json,实际页面及当前模型与会话诊断已核对。当前原项目的4项测试也在本轮外部终端通过;该外部验证独立于工作台自身历史事件。

首轮真实验证的脚本过严地拒绝合理的点名文件读取,修正只读范围后完整通过。此脚本问题没有改变项目文件,原会话保留全部记录。

第三方客户端机制报告依据静态发行工件,不代表执行了原版Claude Code/Cursor或验证了它们的远端服务。