Files
Agent-Workbench/docs/VALIDATION.md
T

193 lines
21 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Agent Workbench 验收记录
## 1.5.1 · 实际工件分页与重复读取暂停
构建、163/163项完整回归及63组界面全部通过,0失败/跳过/取消/页面或请求异常;见[回归](context-fix-tests-validation.json)、[界面总表](context-fix-all-ui-validation.json)和[QA-1.5.1](QA-1.5.1.md)。工件页按下一请求的双层JSON字节限额生成、返回next_offset;原工件、Unicode与完整协议保留。直接代码依据优先选择,Task已读区间和no_progress暂停持久保存,恢复不自动重放。
新增实际HTTP用例证明下一请求包含刚读取的大工件页,分页推进而不重复工具;重复已覆盖区间的实际循环以no_progress暂停,重新打开后保留原Task/已完成结果,显式续接才请求模型。手机用例检查实际390px宽度、可读原因和续接归属;第一次误用桌面截图的验证器已修正并重跑。
独立发行和同一真实失败Task续接正在执行,后续追加实际结果。1.5.0首轮失败证据保持,尚无同题多次对照的费用收益结论。
## 1.5.0 · 有界请求与完整历史
Windows x64、Node24.22.1、Edge156.0.4314.42。构建与158/158项行为/API/实际进程退出/升级回归通过,0失败/跳过/取消;上下文8、批次11及原有43共62组真实界面全部通过,0页面/请求异常。桌面与390px历史/工件截图已目视核对。
| 验证 | 结果 | 证据 |
| --- | --- | --- |
| 完整请求/预算/协议组/Unicode分片/归属/缺失损坏/恢复与原有契约 | 158/158通过 | [完整回归](context-tests-validation.json) |
| 请求计划、历史运行、分页工件、手机关闭及迟到错误归属 | 8/8通过 | [上下文界面](context-ui-validation.json) |
| 批次审查/恢复及原有基础/诊断/任务/Git/索引 | 11/10/9/7/9/8通过 | [QA-1.5](QA-1.5.md) |
首轮完整回归误丢诊断中的历史applied状态,157/158通过;修正为保留最近32项所有状态后完整复验通过。手机Escape问题按真实document/window事件顺序复现并修复;三个旧作用域迟到失败用例分别通过。旧1.4批次证据恢复为19b738b内容,本轮结果单独保存context-*。
1.5便携2180份/源码343份清单、CRC/SHA与独立便携启动/复用/停止、随附Node/npm的4项实际检查通过。源码ZIP独立离线安装、6份构建文件逐字节一致及158项回归通过,见[归档](context-archives-validation.json)、[便携](context-release-validation.json)和[源码](context-source-package-validation.json)。原PID23080保留模型与7项目/9会话升级,整份会话和执行证据按规范JSON核对;只补缺失contextPlans空默认,见[升级](context-upgrade-live-validation.json)。
真实配置模型的首轮样本失败,不能记为工程交付成功:14项基线测试中13失败,随后反复读取历史索引和相同工件片段,358秒后模型服务超时;无源码提案、未应用文件、未提交Git。27次已报告请求,输入246861/输出2676/合计249537tokens,未知用量0。失败记录与[循环观察](context-live-loop-observation.json)保留;见[失败证据](context-live-model-failure.json)。发现较大的最新工具结果无法进入硬预算,会被整体封存,模型下一轮看不到刚读到的内容;优先修正工具读取预算、当前修复依据保留和无进展检测后再实测。未以字节或合成用量声称成本下降。完整M2的隔离worktree、React/Python工程及M3/M5继续开发。
## 1.4.0 · 多文件审查与恢复
Windows x64、Node24.22.1。构建与141/141项行为/API/实际进程退出/升级回归通过,0失败/跳过/取消;批次11及原有43共54组真实界面流程全部通过,0页面/请求异常。桌面及390px审查/回退截图已目视核对。
| 验证 | 当前结果 | 证据 |
| --- | --- | --- |
| 封存指纹/原新快照/全批预检/逐文件恢复和原有契约 | 141/141通过,包含13个批次实际退出切点 | [完整回归](m2-batch-tests-validation.json) |
| 批次审查/恢复/step_limit续接/迟到错误归属 | 11/11通过 | [批次界面](m2-batch-ui-validation.json) |
| 基础/诊断/任务/Git/索引 | 10/9/7/9/8全部通过 | [QA-1.4](QA-1.4.md) |
| 便携包与随附Node/npm | 独立启动/复用/停止及4项实际示例测试通过 | [便携验收](m2-batch-release-validation.json) |
| 源码ZIP独立离线安装/构建/回归 | 6份构建文件一致,141/141通过 | [源码验收](m2-batch-source-package-validation.json) |
| 两个ZIP的CRC/清单/路径/散列 | 全部通过 | [归档验收](m2-batch-archives-validation.json) |
| 正式原进程升级 | 1.4.0、PID23080/模型连接/原会话保留 | [升级验收](m2-batch-upgrade-live-validation.json) |
| 真实模型四文件精确批次交付 | 13失败→14通过、build、整批应用、内置Git和报告 | [真实模型证据](m2-batch-live-model-validation.json) |
迟到失败用例先复现卸载后的旧组件向新项目弹错,再修复作用域清理并通过复验。多文件写入没有跨文件原子事务;结果未知时只显式核对/回退,不自动重放。正式服务已保留原进程及连接升级到1.4.0,完整M2的worktree、多类工程及M3/M5继续实施。
真实gpt-6.1-sol在同Task的3个Run中完成四份精确补丁及一个整批审查,420行说明、BOM/CRLF/LF、10份保护输入和其他暂存/工作区修改保留。工作台生成commit `42d860ba6b2a2990f012733f3e2469ff685f3133`,报告为verified_committed,批次快照校验通过。保存了[实际改动](m2-batch-live-model.diff)、[JSON报告](m2-batch-model-delivery-report.json)和[Markdown报告](m2-batch-model-delivery-report.md)。
首轮77秒遇到模型服务HTTP520;一次显式重试复用原4份change_id和实际工具工件,恢复后64秒内完成批次应用、14项测试、build和模型准备的Git预览。随后单Run响应反馈用量224147超过200000预算,模型暂停;内核确认已有预览并完成Git/报告,模型请求数保持17,未调整预算。最终模型Run仍为paused/token_limit,工程交付证据已完成,模型最后的文字收尾未执行。含恢复和验收器介入的墙钟时间714秒;385579个已报告tokens(输入382585/输出2994),未配置单价。该样本没有证明用量下降,下一批优先修复上下文重复与完整请求的有界投影。
最终1.4.0发行标识为`20261029115633372`。最终两个ZIP的2160/316份清单、CRC/SHA与独立便携检查通过;88份核心/测试/全部脚本/构建输入和6份编译文件与已独立安装、通过141项回归的源码逐字节一致。原PID23080保留模型连接及全部7项目/9会话更新,实时批次记录和旧会话兼容字段均已核对。
## 1.3.0 · 工程索引与精确补丁
Windows x64、Node24.22.1、Edge156.0.4314.42。构建和112/112项行为/API/实际进程退出与连续升级检查通过,0失败/跳过/取消。基础10、诊断9、任务7、Git交付9和索引8共43组真实界面流程全部通过,页面/请求异常为零;桌面与390px截图已目视核对。
| 验证 | 结果 | 结构化证据 |
| --- | --- | --- |
| AST/候选索引、增量依赖、精确补丁及原有恢复契约 | 112/112通过 | [m2-index-tests-validation.json](m2-index-tests-validation.json) |
| 基础/诊断/任务/Git/索引界面 | 10/9/7/9/8组全部通过 | [QA-1.3.md](QA-1.3.md) |
| 便携包与随附Node/npm | 独立启动/复用/停止、4项实际示例检查通过 | [m2-index-release-validation.json](m2-index-release-validation.json) |
| 源码ZIP独立安装/构建/回归 | 离线安装、6份构建文件一致、112/112通过 | [m2-index-source-package-validation.json](m2-index-source-package-validation.json) |
| 两个ZIP的CRC/路径/清单/散列 | 全部通过 | [m2-index-archives-validation.json](m2-index-archives-validation.json) |
| 正式原进程升级 | 1.3.0、PID23080/内存连接及历史状态保留 | [m2-index-upgrade-live-validation.json](m2-index-upgrade-live-validation.json) |
| 真实模型精确补丁交付 | 13失败→14通过、build、四文件commit和报告 | [m2-index-live-model-validation.json](m2-index-live-model-validation.json) |
实际配置的gpt-6.1-sol用119秒、1Task/2Run、1次四文件审查完成长文件样本。模型调用1次index_project、2次query_code,仅读取各文件421行后的必要源码,四文件均用propose_patch。每个源文件420行受保护说明、normalize/cli的BOM与CRLF、summary/render的LF、10个保护输入、其他工作区与暂存修改均保留。封存14项测试由1通过/13失败变为14通过,build和构建CLI结果正确。
模型准备Git预览;验收器审核提案、批准封存的npm脚本和确认工作台预览,工作台自身生成并核对样本commit `5dec27e38ad9b3a2c5da53debb8af29884cec690`及[Markdown报告](m2-index-model-delivery-report.md)/[JSON报告](m2-index-model-delivery-report.json)。[实际diff](m2-index-live-model.diff)保存四文件的局部修改。验收器未编写修复实现或自行执行Git提交,未读取、复制或导出模型Key。
实际用量为15次请求,输入277387、输出2866、合计280253个已报告tokens,未知用量请求0;未配置单价不换算费用。这个样本证明定位和格式保留的正确性;尚未建立上下文成本下降的同题对照,不能据此宣称节省tokens。上下文投影与预算将继续优化。
这是一个合成Node工程样本;完整M2三类工程、ChangeSet/隔离worktree、外部引擎、Electron及手机配对继续实施。JS/TS/React索引是静态声明/导入证据,Python为声明候选,均不表示完整编译器引用或运行时依赖解析。首轮两项Windows HTTP连接重置已独立复验;有限QA请求使用独立连接,不重试副作用请求,最终完整回归通过。
## 1.2.0 · 当前Task的Git交付与证据报告
Windows x64、Node24.22.1、Edge156.0.4314.42。构建通过;完整92项行为/API/实际退出恢复测试全部通过,0失败/跳过/取消。首轮90/92的两个失败已定位并修复,15项相关专项及最终完整回归均通过。
| 验证 | 结果 | 结构化证据 |
| --- | --- | --- |
| 完整行为/API/实际退出与连续升级 | 92/92通过 | [m2-tests-validation.json](m2-tests-validation.json) |
| 基础界面 | 10/10通过 | [m2-ui-validation.json](m2-ui-validation.json) |
| 模型错误与诊断界面 | 9/9通过 | [m2-diagnostics-ui-validation.json](m2-diagnostics-ui-validation.json) |
| 任务、工件、预算与审核后继续 | 7/7通过 | [m2-execution-ui-validation.json](m2-execution-ui-validation.json) |
| Git预览/确认/报告/未知结果核对 | 9/9通过 | [m2-delivery-ui-validation.json](m2-delivery-ui-validation.json) |
| 便携包与随附Node/npm | 启动/复用/停止和4项实际示例测试通过 | [m2-release-validation.json](m2-release-validation.json) |
| 源码ZIP独立安装/构建/回归 | 离线安装、6份构建文件逐字节一致、92/92通过 | [m2-source-package-validation.json](m2-source-package-validation.json) |
| 两个ZIP的CRC/路径/清单/散列 | 全部通过 | [m2-archives-validation.json](m2-archives-validation.json) |
| 正式原进程升级 | 1.2.0、原PID23080/模型连接与原会话保留 | [m2-upgrade-live-validation.json](m2-upgrade-live-validation.json) |
| 真实gpt-6.1-sol内置Git闭环 | 13失败→14通过、build、四文件本地commit与报告 | [m2-live-delivery-validation.json](m2-live-delivery-validation.json) |
桌面提交预览和390px报告已目视核对,文字、diff、hash、关闭入口与固定输入区均可用。全部界面检查无页面/请求异常。
实际配置模型用115秒、1Task/2Run、1次四文件审查完成:封存14项测试由1通过/13失败变为14通过,build与dist CLI结果一致;10个保护输入、原工作区和暂存修改保留。助手通过plan_delivery准备预览,验证器核对并在工作台API确认,工作台生成commit `845b262b21fdc7f9a6c9d69a68daddc68b4a571e`及真实工件报告。用量为12次请求、172088个已报告tokens,未配置单价不换算费用。验收器没有编写修复代码或自行用Git提交。
保存了[实际模型改动](m2-live-model.diff)、[Markdown交付报告](m2-model-delivery-report.md)与[JSON报告](m2-model-delivery-report.json)。这是一个合成Node样本,完整M2三类工程与M6成功率、ChangeSet及后续引擎/桌面/手机配对仍继续实施。
## 1.1.0 · M1可靠内核与工程切片
2026-10-29,Windows x64,Node24.22.1,Edge156.0.4314.42。TypeScript/Vite/esbuild构建通过。完整68项行为/API/进程退出恢复检查通过,0失败/跳过/取消;新增Task/Run、SQLite事务、工件损坏、预算、工程检查与审核后继续的覆盖。
| 验证 | 结果 | 结构化证据 |
| --- | --- | --- |
| 完整行为/API/实际退出与升级 | 68/68通过 | [m1-tests-validation.json](m1-tests-validation.json) |
| 基础界面 | 10/10通过 | [m1-ui-validation.json](m1-ui-validation.json) |
| 模型错误与诊断界面 | 9/9通过 | [m1-diagnostics-ui-validation.json](m1-diagnostics-ui-validation.json) |
| 任务、工件、断流、预算和审核后继续 | 7/7通过 | [m1-execution-ui-validation.json](m1-execution-ui-validation.json) |
| 1.1.0便携宿主与随附npm | 启动/复用/停止及4项真实示例测试通过 | [m1-release-validation.json](m1-release-validation.json) |
| 源码ZIP独立安装、构建和回归 | 离线安装、6份构建文件逐字节匹配、68/68通过 | [m1-source-package-validation.json](m1-source-package-validation.json) |
| 两个ZIP的CRC、路径、清单与散列 | 全部通过 | [m1-archives-validation.json](m1-archives-validation.json) |
| 正式原进程升级 | 1.1.0、同PID/内存连接、3项目/9会话及历史hash保留 | [m1-upgrade-live-validation.json](m1-upgrade-live-validation.json) |
| 真实模型四模块交付 | 13项失败→四模块修复→14/14及构建通过,同Task/2Run/1次审查/81秒 | [m1-live-delivery-validation.json](m1-live-delivery-validation.json) |
26组界面流程的页面异常/请求失败均为0,覆盖桌面和390px。已目视核对任务、差异和手机日志弹窗:标题、hash、正文、关闭/分页及固定任务输入区均可用,无遮挡或横向溢出。新增继续按钮使用明确的可访问名称。
首次完整回归曾出现Windows进程fixture的ECONNRESET,旧版升级控制请求改用独立HTTP连接并记录失败阶段后,完整68项复验通过。专项第一次收尾因按钮名称包含说明文字而定位超时,补齐aria-label并完成7组任务UI复验。失败记录保留在findings.md,未重放迁移或命令来掩盖问题。
1.1.0实现Node/npm工程切片;三类工程完整M2验收、任务依赖图、外部引擎、REA执行和桌面/手机配对仍在后续阶段。真实模型样本的审查次数与用量单独报告。
真实模型gpt-6.1-sol完成normalize/summary/render/cli四模块,仅修改允许的源文件。封存14项测试、fixtures、构建脚本和package保留;9个保护输入hash以及已有owner修改和未跟踪文件核对通过。验收器核对并应用一次四文件提案,通过「继续检查与交付」进入原Task的第2轮;最终实际测试14/14和构建通过,构建CLI结果一致。仅四个源文件进入本地交付commit `b17492ca0fb9d6ea562290f3857b1c4c06bf6bf2`。
该样本的Git提交由验收器完成,尚不属于1.1.0界面内的Git能力;后续M2将其内置。验收器的脚本确认、提案审查/应用和Git提交均属于已记录的介入,不能把此结果称为完全无人参与交付。可运行成果见[Delivery Report示例](../examples/delivery-report/README.md)。
以下保留1.0.0基线验收。
验收日期:2026-10-29(Asia/Shanghai)。环境:Windows x64,Node.js 24.22.1,npm 11.19.1,Microsoft Edge 156.0.4314.42。自动化验证使用独立项目和数据目录,正式用户会话验证单独记录。
## 构建与行为
TypeScript、Vite与esbuild构建通过。34项行为测试全部通过,零失败、零跳过。主要覆盖:
- 真实本地HTTP工具循环、稳定调用ID、输入校验、上下文投影和保存/恢复配对。
- 提案审核前不写盘、基线冲突、原字节备份、项目路径和外部junction处理。
- 命令确认、拒绝、取消、进程树停止、UTF-8分块与中文PowerShell到Node管道。
- 可读的PowerShell 5.1解析错误及原生命令退出码。
- 工具完成后模型请求失败、有限重试、耗尽后恢复;确认后的计数命令仍只执行一次。
- 401错误脱敏且不重试,429按服务Retry-After等待后恢复,503临时失败、非JSON及过大响应。
- 本地诊断使用真实错误和当前applied状态,旧fetch failed推导明确标记缺少底层连接原因。
- 真实旧版进程的原进程升级,保留PID、文件、会话和合成内存连接,后续认证成功并关闭调试端口。
新版本自带示例同步用户已应用的多关键词搜索改进,4项示例测试通过。原用户项目留在其原路径。
## 基础浏览器
独立测试地址 `http://127.0.0.1:4319`,1440/780/390 px下10组流程全部通过,页面异常和请求失败均为零。覆盖打开项目与文件、命令确认/拒绝、差异应用、手动提案、快速切换项目/文件/会话、延迟旧响应、刷新/导出、手机抽屉、研究报告与模型设置的兼容接口循环。
结构化记录:[ui-validation.json](ui-validation.json)。截图已目视核对顶部、输入框、差异颜色和操作位置。
- [桌面工作台](screenshots/desktop-ready.png)
- [差异审核](screenshots/desktop-diff-review.png)
- [中文命令确认](screenshots/command-approval.png)
- [手机对话](screenshots/mobile-conversation.png)
- [手机文件](screenshots/mobile-file.png)
- [统一研究报告](screenshots/research-overview.png)
## 异常专项浏览器
9组全部通过,页面异常和请求失败均为零。测试以受控HTTP模型服务产生真实API响应:
1. 验证临时模型响应,再保存连接;验证时已有配置保持不变。
2. 项目读取成功后连续HTTP 503,展示分类错误、三次请求和运行诊断。
3. 手动重试保留原工具结果,不重复用户回合或项目读取。
4. 用户追问错误,模型通过inspect_session取得本地记录,回复显示Markdown且不搜索项目fetch。
5. 运行中不能应用文件,待审查显示审核入口,应用后内容一致。
6. 用户确认中文PowerShell管道,Node输出保留中文。
7. HTTP 401只请求一次;390 px的错误与诊断按钮可用。
8. 停止退避后不发第二次请求,任务已暂停,诊断显示最近请求已停止。
9. 临时HTTP故障在有限请求内自动恢复。
结构化记录:[diagnostics-ui-validation.json](diagnostics-ui-validation.json)。
- [模型请求错误](screenshots/formal-model-error.png)
- [运行诊断](screenshots/formal-diagnostics.png)
- [依据记录回答](screenshots/formal-diagnostic-answer.png)
- [手机错误](screenshots/formal-mobile-error.png)
- [手机诊断](screenshots/formal-mobile-diagnostics.png)
- [停止后的诊断](screenshots/formal-stopped-diagnostics.png)
## 便携包与正式升级
Windows x64便携包已通过独立启动、同PID复用、命令确认、随附Node.js 24.22.1执行、示例/静态页面/四份报告和优雅停止。测试端口4320,使用独立数据目录,PATH移除系统Node/npm。记录见 [release-validation.json](release-validation.json);最终文件数量和SHA256以各发行目录的MANIFEST.json为准,ZIP散列见releases/latest.json。
便携与源码ZIP均已通过CRC、路径、清单完整性、文件大小/SHA256、ZIP SHA256及归档与发行目录逐文件比对。源码ZIP独立解压后,离线安装锁定依赖、TypeScript/Vite/两份服务端构建和34项行为测试全部通过,包含源码内置的旧版升级fixture。记录见 [source-package-validation.json](source-package-validation.json)。
正式4318已从0.1.0升级到1.0.0,保留PID23080、2个项目、3个会话和原内存模型连接。原项目仍位于原路径,两个文件状态均为applied。升级脚本没有读取、导出或复制Key,完成后关闭本次启用的本地调试端口。记录见 [upgrade-live-validation.json](upgrade-live-validation.json)。
## 实际配置模型
用户的gpt-6.1-sol连接已在0.1.0完成真实read_file、propose_file与审核应用,见[模型连接实测](MODEL-CONNECTION.md)。1.0.0进一步在原会话提出自然错误问题,真实模型在22秒内先inspect_session,再只读核对点名的两个文件;正确说明历史fetch failed来自模型请求、旧版缺少底层原因和两个applied状态。
验收确认没有项目搜索、新提案或终端命令;原消息前缀、提案状态及两个文件的SHA256保持一致。完整结果和原回答见 [live-session-validation.json](live-session-validation.json),[实际页面](screenshots/deployed-desktop.png)及[当前模型与会话诊断](screenshots/live-formal-diagnostics.png)已核对。当前原项目的4项测试也在本轮外部终端通过;该外部验证独立于工作台自身历史事件。
首轮真实验证的脚本过严地拒绝合理的点名文件读取,修正只读范围后完整通过。此脚本问题没有改变项目文件,原会话保留全部记录。
第三方客户端机制报告依据静态发行工件,不代表执行了原版Claude Code/Cursor或验证了它们的远端服务。