Files
Agent-Workbench/docs/LIVE-VALIDATION-AA-PLAN.md
T
2026-11-05 03:15:01 +08:00

28 lines
4.9 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# AA:1.25.3 真实供应商、工程交付与原版 Purge 验证
用户于2026-11-05(Asia/Shanghai)明确要求验证真实供应商兼容、自主工程交付及Purge收益,并完整保留历史异常。新批次从干净cef636fd开始;正式安装来源1bd94856、1.25.3、PID36552及原Provider保持。旧Z3/Z2/Z/Y/W/V/T/R/P/O/H/E等均不续跑,不覆写其证据,不把新结果倒写历史。
## 冻结与次序
1. 只读冻结实际安装清单/源码身份、当前公开连接、原预算/选线、全表行SHA/全部导出/工件SHA/完整原尝试。用原Provider内部凭据发送;不读取、复制、解密、提取或重存任何Key,不重启宿主、不启用已停用连接。
2. 对当前启用的DeepSeek、apikey-Claude、apikey GPT分别获取一次真实模型目录(产品原60秒/20页/1000项/4MB边界);记录实际型号和能力缺失,取消临时目录,不批量导入或保存连接。每条连接另做一次所属DNS/TLS诊断,仅观察,不以诊断成功替代模型API成功。
3. 每条连接两个独立、无工具、单请求/单尝试预检:关闭推理、开启低强度推理。Chat OpenAI使用reasoning_effort=none/low;DeepSeek使用thinking.disabled或thinking.enabled+reasoning_effort=low;Messages使用thinking.disabled或thinking.enabled+budget_tokens1024、effort low。每次16K输入总预算、最多2048输出、320秒,严格要求上游型号匹配、完整答复包含随机nonce。开关参数只进入本次Run快照,不保存原连接。验证字段支持与实际响应分别报告;仅上游身份字段符合不认证权重。
4. 单个新的Node自主工程样本:按固定优先级DeepSeek→apikey-Claude→apikey GPT,取关闭推理预检通过的第一条线路。目录缺失或开启推理失败分别保留,不阻断已通过关闭模式的工程测试;工程固定使用该关闭参数,不能失败后换线重跑。同原三模块/九测试/build/owner staged+unstaged+untracked保护,只给业务要求与通用流程,模型自己实现、封存变更、规划检查/Git;监督仅审查模型原提案、批准原检查及确认本地Git。
5. Node真实闭环后新React/Python工程,再独立原版受限Purge AB/BA(off,on,on,off)四新工程。Purge1.1.78/Harness0.2.1-rc.2、purge-original-restricted-v1,固定源、模型、关闭推理参数、输入/预算/检查,逐请求证明原版实际加载和模型输入,确认所属进程树结束。不能用工作台独立提示实验代替原版。
## 预算、成功与停止
整批最多100次真实模型请求、700000报告tokens;每次派发前保留原宿主用量/未知预留检查。六次兼容预检每例最多1次/16000报告tokens。Node新样本固定24次/140000报告tokens/600000ms,16K上下文、2048输出与原1600保留预算;这个新预算不同旧8次样本,不作单因素性能比较。React/Python每例24次/140000,Purge每例24次/105000,均受总上限与剩余额度约束;不为后续阶段扩大总额。在途报告超额如实记录,不追加派发。
身份不符、网络/协议失败、未知消费、原预算/无进展停止、来源或用户配置变化均停止本例并封存;不改测试、加实现提示、人工代写、放宽期限或自动重放。配置写入如工程所需,通过原API临时修改身份/原生参数/预算/选择,finally按原语义恢复,仅允许已声明的单调修订/时间戳/观察健康变化;原凭据修订不变。外部编辑不覆盖,明确核对差异。
工程成功需原测试+build(React另类型/真实页面)、模型来源的完整变更集、实际应用、当前输入证据和本地已确认Git交付,原owner修改及暂存不变。审批监督次数、请求/用量/缓存/unknown/墙钟/错误/停止原因独立列出。Purge更早失败不算节省;只有四例与同成功标准成立才给描述性对比,不宣称统计显著或费用。
如Node未闭环,React/Python/Purge前置未满足,记录明确未执行与原因;不制造对照收益。发现确定产品缺陷先封存失败,修复/回归/发行和另冻实验独立,不在原样本中改变代码或预算。
## 封存与提交
冻结前驱动自检:本地隔离六组合已通过(`.qa/aa-driver-check-973a49f4-f5e8-432b-bc51-f6eaaefcfc33`,6次合成请求、真实请求0)。首账本接口404、次Messages夹具数组误作text的两份失败保持;只修验收驱动,没有改变产品响应完整性守卫。驱动语法与diff检查后本地提交,再开始实际冻结。
新驱动scripts/live-aa、证据.qa/live-validation-aa;write-once,不递归搜索全部.qa,不改旧封存。每阶段对账原状态、核对实际请求/响应SHA、回顾并本地提交,全部完成后离线验证新manifest及Git原字节。不委派、不推送。原网络异常、型号不符、空响应、length、重复读取、预留边界、真实交付及Purge未知各自保留,新观察只作追加结论。