Files
Agent-Workbench/docs/LIVE-RETEST-H-PLAN.md
T

21 lines
3.0 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 1.24.1 真实交付与原版 Purge:H 批次
用户已授权重新实测。本批使用正式1.24.1、保留原PID36552及Provider;不重启、不抽取或复制Key,不续跑旧失败Task。G修复是本批执行基线,E结果保留,不合并分母。本批不扩展1.25功能或重新打包发行。
| 新样本 | 实际验收 | 上限 |
| --- | --- | --- |
| React | 模型自行修复四模块,原9项测试、类型检查、构建、真实桌面/窄屏交互及审查Git | 24实际请求、140000报告tokens、10分钟 |
| Python | 模型自行修复三个模块,原6项测试、编译及审查Git | 同上 |
| Node AB | 同一三模块收支报告,先关闭再启用原版受限Purge | 每例24请求、105000报告tokens、10分钟 |
| Node BA | 相同需求、基线、工具、检查和驱动,先开启再关闭 | 同上 |
整批六例串行,最多100实际请求/700000报告tokens。当前已配置Claude连接固定Chat协议、32K容量、2048输出上限;无自动切池。容量经正规API临时调整并保存修订,结束恢复公开参数和原池。原生及宿主按真实已知用量和未知消费预留拒绝超额派发;在途超额、未知usage和网络失败照实记录,不自动重放或重置账本。服务公有模型中心只返回最近100尝试,预算和最终分母改用只读完整modelAttempts,不读取凭据字段。
基线沿用E自有工程的业务需求与原测试,创建全新项目、工作区和Task。模型只收一次任务、允许路径和流程合同,自己读源码并提出实现;验收程序仅批准匹配的原检查、核对模型封存批次和确认Git。审批、应用、显式续接、父工程核对分别计数;实现提示和人工代写均为零。旧已修改工程不会作为新基线。
原版开启为Purge1.1.78、`purge-original-restricted-v1`、Harness0.2.1-rc.2;关闭为同Harness但不加载原版入口或独立提示。原版自动更新、宿主修改、原操作工具、自动重试及继续关闭,保留真实提示/内部钩子。固定来源、每请求实际输入、原生模块加载和进程树退出逐例核对。这个实验只评价此受限工程配置,不是通用模型“破甲”或权重提升的证明。
完整批次交接和源码保留由真实请求与工具账本观察,不能把G离线回放当实测成功。来源漂移、未知操作、预算耗尽或不能确认进程退出即停止本例;独立后续组仅在剩余额度、无活动和来源一致时开始。不得以追加提示、扩大预算、改测试或同失败Task重跑制造成功。
交付结果与Purge收益单独报告:同成功标准下才比较消耗,更早失败不算节省;四例只能给描述性结论,不编统计显著性或收费节省。封存原请求/上游usage、源码基线、原失败、检查/页面/Git证据及监督次数。所有原会话导出、表行、工件原字节和模型参数恢复逐项核对,新追加归属明确;私有原用户快照不入Git,按范围本地提交、不推远端。