Files
Agent-Workbench/docs/LIVE-RETEST-H-RESULTS.md
T
2026-11-03 09:49:07 +08:00

49 lines
7.2 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 1.24.1 真实交付与 Purge:H 实测结果
本轮六个新样本已执行完毕,均未达到完整交付标准,Purge 正向收益没有证实。更关键的是,**52 次请求发送 `claude-opus-5-5`,52 份上游原始响应却都标记 `gpt-6.1-sol`**。因此本轮只能作为这条配置连接的工程运行记录,不能据此评价 Claude 的真实能力;底层模型身份仍待供应商核实。
固定正式1.24.1/source `ba07713`、原PID36552及Provider,使用现有连接,通过正规API临时设32K容量/2048输出上限,六例串行。没有重启、读取或复制Key,没有人工提供实现、修改原测试、追加实现提示或续跑旧失败Task。来源、一次性目标、原测试、驱动和预算在发送前固定,见[方案](LIVE-RETEST-H-PLAN.md)。实际52请求、**621416报告tokens、0未知用量**,保留下一次派发预留不足时的原停止,不增加预算补做。
| 新样本 | 请求 | 报告 tokens | 秒 | 实际结果 |
| --- | ---: | ---: | ---: | --- |
| React | 12 | 129235 | 102 | 原测试2/9;类型检查/构建通过;无修复批次;token_limit |
| Python | 12 | 130582 | 82 | 原测试1/6;编译通过;模型三文件批次已审查应用,未完成复测/Git;task_token_limit |
| 第一轮关闭 | 9 | 97937 | 91 | 原测试0/9、构建通过;模型三文件批次已应用,未完成复测及父交付;token_limit |
| 第一轮开启 | 6 | 96870 | 86 | 原测试0/9、构建通过;无应用批次;token_limit |
| 第二轮开启 | 5 | 77102 | 103 | 原测试0/9、构建通过;无应用批次;engine_input_budget |
| 第二轮关闭 | 8 | 89690 | 86 | 原测试0/9、构建通过;模型三文件批次已应用,未完成复测及父交付;token_limit |
表内失败测试是模型实际执行的基线检查。应用后的代码未再完成实际检查,不能推断它仍有同样测试失败,也不能记作通过。本轮没有成功页面验收或Git交付。监督程序批准6次匹配的原检查、审查应用3次模型批次并各显式续接同目标;步数上限续接0次、父工程交付0次、人工实现提示0次。
## 请求与返回型号不一致
[H身份核验](live-retest-h-model-identity.json)逐份核对原请求和上游原JSON/SSE的SHA、`model`字段:52/52不一致,缺少返回型号0次。请求工件和原账本都正确保存了发送型号;原驱动没有核对返回型号,这是验收缺口,独立身份检查现在明确拒绝将本轮认定为Claude身份通过。
进一步只读审计旧E的原件也得到相同结果:请求Claude、52份响应全部标记GPT,见[E身份补充审计](live-retest-e-model-identity-addendum.json)。E原报告中的“实际Claude”应仅理解为当时配置/发送的型号,不能作为底层模型已认证的证据。原E报告、用量、通过/失败样本及原manifest SHA均保持,不倒写旧原件。返回标识也不能单独证明模型权重,供应商是否有别名映射仍未知。
原件完整性/消费核验通过,与模型身份一致性未通过分别记录。新工具[verify-upstream-model-identity.mjs](../scripts/verify-upstream-model-identity.mjs)只读取封存原件、不发请求;不擅自把未解释的型号映射视为有效。后续应先把请求/返回身份分开进入产品账本,并在首个不一致响应后暂停该实测,避免继续消耗整个批次预算。
身份工具的[8项本机验证](live-retest-h-identity-validation.json)通过:一致JSON/Chat SSE/Responses SSE、型号不一致/缺失/混合、篡改原件拒绝,以及H原件离线重算仍52份不一致且输出逐字节相同。验证代码见[原驱动](live-retest-h-identity-validation-driver.mjs)。这验证离线工具,不代表产品运行时身份门禁已上线。
## 原版 Purge 与实际推进
Purge1.1.78、Harness0.2.1-rc.2、`purge-original-restricted-v1`来源固定。两次开启实际调用原版apply并各加载两个原生模块,11份真实输入核对原版提示;关闭组17份输入没有原版入口/独立提示实验段。四组目标、Git树、工具、测试、连接修订5、协议、32K容量及105000 tokens预算相同,顺序off/on、on/off。全部6个所属原生进程树确认结束。
开启合计173972报告tokens,关闭合计187627;四组均未交付,停止阶段不同。开启组没有应用批次,关闭组各应用一次。此数据不能证明节省、普遍能力提升或下降,也不支持收费收益推算。
第二开启的原拒绝工件明确:必需输入27260≤窗口输入限27552,剩余累计27898<下一保守预留29436,`limitingReason=remaining_token_budget`。这次是累计预算不足;32K窗口本身容得下,不应把诊断解释为必须扩大上下文容量。
G的同轮交接在Python第8响应完成批次后实际进入needs_review,应用后显式续接。之后模型又执行两次inspect_session、verify_task_step和plan_checks,未进入复测/Git就停止。React第6–12请求中,之前已完整读取且仍有效的5份源码全部保留;没有再次出现E原件中的源码逐份挤出,但仍未形成实现。真实交付结果没有随确定性修复自动改善。
[效率审计v2](live-retest-h-efficiency-audit-v2.json)用原页区间并集核对:React把同一8597字符测试日志完整重读一遍,涉及2个重复非空页,末尾又读一次App。最初派生审计按单个旧区间覆盖判断,少计1页;v1和封存原件保留,v2修正并验证相邻区间/缺口/空区间。Python应用后旧源码SHA失效,其后请求未携带旧读内容不能记作当前源码丢失。纠正审计生成时的一次非唯一锚点拒绝发生在写文件前,没有改变样本或原件。
## 状态恢复与封存
原模型池和全部公开参数恢复,连接修订4→5→6、config修订33→48及registry修订43→60按实际记录。原PID36552/Provider/正式1.24.1保持,hasKey=true、idle、9229关闭。58份原会话全导出、2850份原工件字节、4953原records/10329原events及outbox和全部原表逐行保持;只对新项目位置顺移、所属尝试追加、声明修订及事件序列作精确归属核对。148条原尝试保持,新增52次所属H。
新增12自有项目/12会话;当前54项目/70全部会话/6078 records/12906 events和outbox。787条所属工件记录、721份去重原字节及原请求/响应、基线、最终自有工作文件、原失败、驱动、进程结束和恢复收据共**979份/42415779字节**,见[manifest](live-original-purge-h-evidence/manifest.json),SHA-256 `9c7b8980850802b444375875ab53f66937307b6fe81ffee06ae075b78916824e`。私有原用户快照不入Git。
独立离线核验原字节、实际用量、插件输入/来源/退出通过;独立身份检查拒绝52份不一致型号。后续优先级和验收要求已记录在[H回顾与修复计划](LIVE-RETEST-H-REVIEW.md)。本轮没有部署新产品版本,不把旧浏览器标签的release参数当作服务实际版本,也不把本次结果混入E分母。
全部离线审计后再次[核对当前完整状态](live-retest-h-final-state.json),与恢复后快照全等;当前3566份工件文件。E/G/H原manifest的SHA再次核对保持。计划与证据按本次范围本地Git保存,不推远端。