Files
Agent-Workbench/docs/VALIDATION.md
T

115 lines
10 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Agent Workbench 验收记录
## 1.2.0 · 当前Task的Git交付与证据报告
Windows x64、Node24.22.1、Edge156.0.4314.42。构建通过;完整92项行为/API/实际退出恢复测试全部通过,0失败/跳过/取消。首轮90/92的两个失败已定位并修复,15项相关专项及最终完整回归均通过。
| 验证 | 结果 | 结构化证据 |
| --- | --- | --- |
| 完整行为/API/实际退出与连续升级 | 92/92通过 | [m2-tests-validation.json](m2-tests-validation.json) |
| 基础界面 | 10/10通过 | [m2-ui-validation.json](m2-ui-validation.json) |
| 模型错误与诊断界面 | 9/9通过 | [m2-diagnostics-ui-validation.json](m2-diagnostics-ui-validation.json) |
| 任务、工件、预算与审核后继续 | 7/7通过 | [m2-execution-ui-validation.json](m2-execution-ui-validation.json) |
| Git预览/确认/报告/未知结果核对 | 9/9通过 | [m2-delivery-ui-validation.json](m2-delivery-ui-validation.json) |
桌面提交预览和390px报告已目视核对,文字、diff、hash、关闭入口与固定输入区均可用。全部界面检查无页面/请求异常。便携/源码包、正式原进程升级及配置模型的内置Git真实闭环正在进行,完成后补入此处;完整M2/M6验收和后续能力不计入上述结果。
## 1.1.0 · M1可靠内核与工程切片
2026-10-29,Windows x64,Node24.22.1,Edge156.0.4314.42。TypeScript/Vite/esbuild构建通过。完整68项行为/API/进程退出恢复检查通过,0失败/跳过/取消;新增Task/Run、SQLite事务、工件损坏、预算、工程检查与审核后继续的覆盖。
| 验证 | 结果 | 结构化证据 |
| --- | --- | --- |
| 完整行为/API/实际退出与升级 | 68/68通过 | [m1-tests-validation.json](m1-tests-validation.json) |
| 基础界面 | 10/10通过 | [m1-ui-validation.json](m1-ui-validation.json) |
| 模型错误与诊断界面 | 9/9通过 | [m1-diagnostics-ui-validation.json](m1-diagnostics-ui-validation.json) |
| 任务、工件、断流、预算和审核后继续 | 7/7通过 | [m1-execution-ui-validation.json](m1-execution-ui-validation.json) |
| 1.1.0便携宿主与随附npm | 启动/复用/停止及4项真实示例测试通过 | [m1-release-validation.json](m1-release-validation.json) |
| 源码ZIP独立安装、构建和回归 | 离线安装、6份构建文件逐字节匹配、68/68通过 | [m1-source-package-validation.json](m1-source-package-validation.json) |
| 两个ZIP的CRC、路径、清单与散列 | 全部通过 | [m1-archives-validation.json](m1-archives-validation.json) |
| 正式原进程升级 | 1.1.0、同PID/内存连接、3项目/9会话及历史hash保留 | [m1-upgrade-live-validation.json](m1-upgrade-live-validation.json) |
| 真实模型四模块交付 | 13项失败→四模块修复→14/14及构建通过,同Task/2Run/1次审查/81秒 | [m1-live-delivery-validation.json](m1-live-delivery-validation.json) |
26组界面流程的页面异常/请求失败均为0,覆盖桌面和390px。已目视核对任务、差异和手机日志弹窗:标题、hash、正文、关闭/分页及固定任务输入区均可用,无遮挡或横向溢出。新增继续按钮使用明确的可访问名称。
首次完整回归曾出现Windows进程fixture的ECONNRESET,旧版升级控制请求改用独立HTTP连接并记录失败阶段后,完整68项复验通过。专项第一次收尾因按钮名称包含说明文字而定位超时,补齐aria-label并完成7组任务UI复验。失败记录保留在findings.md,未重放迁移或命令来掩盖问题。
1.1.0实现Node/npm工程切片;三类工程完整M2验收、任务依赖图、外部引擎、REA执行和桌面/手机配对仍在后续阶段。真实模型样本的审查次数与用量单独报告。
真实模型gpt-6.1-sol完成normalize/summary/render/cli四模块,仅修改允许的源文件。封存14项测试、fixtures、构建脚本和package保留;9个保护输入hash以及已有owner修改和未跟踪文件核对通过。验收器核对并应用一次四文件提案,通过「继续检查与交付」进入原Task的第2轮;最终实际测试14/14和构建通过,构建CLI结果一致。仅四个源文件进入本地交付commit `b17492ca0fb9d6ea562290f3857b1c4c06bf6bf2`。
该样本的Git提交由验收器完成,尚不属于1.1.0界面内的Git能力;后续M2将其内置。验收器的脚本确认、提案审查/应用和Git提交均属于已记录的介入,不能把此结果称为完全无人参与交付。可运行成果见[Delivery Report示例](../examples/delivery-report/README.md)。
以下保留1.0.0基线验收。
验收日期:2026-10-29(Asia/Shanghai)。环境:Windows x64,Node.js 24.22.1,npm 11.19.1,Microsoft Edge 156.0.4314.42。自动化验证使用独立项目和数据目录,正式用户会话验证单独记录。
## 构建与行为
TypeScript、Vite与esbuild构建通过。34项行为测试全部通过,零失败、零跳过。主要覆盖:
- 真实本地HTTP工具循环、稳定调用ID、输入校验、上下文投影和保存/恢复配对。
- 提案审核前不写盘、基线冲突、原字节备份、项目路径和外部junction处理。
- 命令确认、拒绝、取消、进程树停止、UTF-8分块与中文PowerShell到Node管道。
- 可读的PowerShell 5.1解析错误及原生命令退出码。
- 工具完成后模型请求失败、有限重试、耗尽后恢复;确认后的计数命令仍只执行一次。
- 401错误脱敏且不重试,429按服务Retry-After等待后恢复,503临时失败、非JSON及过大响应。
- 本地诊断使用真实错误和当前applied状态,旧fetch failed推导明确标记缺少底层连接原因。
- 真实旧版进程的原进程升级,保留PID、文件、会话和合成内存连接,后续认证成功并关闭调试端口。
新版本自带示例同步用户已应用的多关键词搜索改进,4项示例测试通过。原用户项目留在其原路径。
## 基础浏览器
独立测试地址 `http://127.0.0.1:4319`,1440/780/390 px下10组流程全部通过,页面异常和请求失败均为零。覆盖打开项目与文件、命令确认/拒绝、差异应用、手动提案、快速切换项目/文件/会话、延迟旧响应、刷新/导出、手机抽屉、研究报告与模型设置的兼容接口循环。
结构化记录:[ui-validation.json](ui-validation.json)。截图已目视核对顶部、输入框、差异颜色和操作位置。
- [桌面工作台](screenshots/desktop-ready.png)
- [差异审核](screenshots/desktop-diff-review.png)
- [中文命令确认](screenshots/command-approval.png)
- [手机对话](screenshots/mobile-conversation.png)
- [手机文件](screenshots/mobile-file.png)
- [统一研究报告](screenshots/research-overview.png)
## 异常专项浏览器
9组全部通过,页面异常和请求失败均为零。测试以受控HTTP模型服务产生真实API响应:
1. 验证临时模型响应,再保存连接;验证时已有配置保持不变。
2. 项目读取成功后连续HTTP 503,展示分类错误、三次请求和运行诊断。
3. 手动重试保留原工具结果,不重复用户回合或项目读取。
4. 用户追问错误,模型通过inspect_session取得本地记录,回复显示Markdown且不搜索项目fetch。
5. 运行中不能应用文件,待审查显示审核入口,应用后内容一致。
6. 用户确认中文PowerShell管道,Node输出保留中文。
7. HTTP 401只请求一次;390 px的错误与诊断按钮可用。
8. 停止退避后不发第二次请求,任务已暂停,诊断显示最近请求已停止。
9. 临时HTTP故障在有限请求内自动恢复。
结构化记录:[diagnostics-ui-validation.json](diagnostics-ui-validation.json)。
- [模型请求错误](screenshots/formal-model-error.png)
- [运行诊断](screenshots/formal-diagnostics.png)
- [依据记录回答](screenshots/formal-diagnostic-answer.png)
- [手机错误](screenshots/formal-mobile-error.png)
- [手机诊断](screenshots/formal-mobile-diagnostics.png)
- [停止后的诊断](screenshots/formal-stopped-diagnostics.png)
## 便携包与正式升级
Windows x64便携包已通过独立启动、同PID复用、命令确认、随附Node.js 24.22.1执行、示例/静态页面/四份报告和优雅停止。测试端口4320,使用独立数据目录,PATH移除系统Node/npm。记录见 [release-validation.json](release-validation.json);最终文件数量和SHA256以各发行目录的MANIFEST.json为准,ZIP散列见releases/latest.json。
便携与源码ZIP均已通过CRC、路径、清单完整性、文件大小/SHA256、ZIP SHA256及归档与发行目录逐文件比对。源码ZIP独立解压后,离线安装锁定依赖、TypeScript/Vite/两份服务端构建和34项行为测试全部通过,包含源码内置的旧版升级fixture。记录见 [source-package-validation.json](source-package-validation.json)。
正式4318已从0.1.0升级到1.0.0,保留PID23080、2个项目、3个会话和原内存模型连接。原项目仍位于原路径,两个文件状态均为applied。升级脚本没有读取、导出或复制Key,完成后关闭本次启用的本地调试端口。记录见 [upgrade-live-validation.json](upgrade-live-validation.json)。
## 实际配置模型
用户的gpt-6.1-sol连接已在0.1.0完成真实read_file、propose_file与审核应用,见[模型连接实测](MODEL-CONNECTION.md)。1.0.0进一步在原会话提出自然错误问题,真实模型在22秒内先inspect_session,再只读核对点名的两个文件;正确说明历史fetch failed来自模型请求、旧版缺少底层原因和两个applied状态。
验收确认没有项目搜索、新提案或终端命令;原消息前缀、提案状态及两个文件的SHA256保持一致。完整结果和原回答见 [live-session-validation.json](live-session-validation.json),[实际页面](screenshots/deployed-desktop.png)及[当前模型与会话诊断](screenshots/live-formal-diagnostics.png)已核对。当前原项目的4项测试也在本轮外部终端通过;该外部验证独立于工作台自身历史事件。
首轮真实验证的脚本过严地拒绝合理的点名文件读取,修正只读范围后完整通过。此脚本问题没有改变项目文件,原会话保留全部记录。
第三方客户端机制报告依据静态发行工件,不代表执行了原版Claude Code/Cursor或验证了它们的远端服务。