Files
Agent-Workbench/docs/LIVE-VALIDATION-AA-PLAN.md
2026-11-05 03:15:01 +08:00

4.9 KiB
Raw Permalink Blame History

AA:1.25.3 真实供应商、工程交付与原版 Purge 验证

用户于2026-11-05(Asia/Shanghai)明确要求验证真实供应商兼容、自主工程交付及Purge收益,并完整保留历史异常。新批次从干净cef636fd开始;正式安装来源1bd94856、1.25.3、PID36552及原Provider保持。旧Z3/Z2/Z/Y/W/V/T/R/P/O/H/E等均不续跑,不覆写其证据,不把新结果倒写历史。

冻结与次序

  1. 只读冻结实际安装清单/源码身份、当前公开连接、原预算/选线、全表行SHA/全部导出/工件SHA/完整原尝试。用原Provider内部凭据发送;不读取、复制、解密、提取或重存任何Key,不重启宿主、不启用已停用连接。
  2. 对当前启用的DeepSeek、apikey-Claude、apikey GPT分别获取一次真实模型目录(产品原60秒/20页/1000项/4MB边界);记录实际型号和能力缺失,取消临时目录,不批量导入或保存连接。每条连接另做一次所属DNS/TLS诊断,仅观察,不以诊断成功替代模型API成功。
  3. 每条连接两个独立、无工具、单请求/单尝试预检:关闭推理、开启低强度推理。Chat OpenAI使用reasoning_effort=none/low;DeepSeek使用thinking.disabled或thinking.enabled+reasoning_effort=low;Messages使用thinking.disabled或thinking.enabled+budget_tokens1024、effort low。每次16K输入总预算、最多2048输出、320秒,严格要求上游型号匹配、完整答复包含随机nonce。开关参数只进入本次Run快照,不保存原连接。验证字段支持与实际响应分别报告;仅上游身份字段符合不认证权重。
  4. 单个新的Node自主工程样本:按固定优先级DeepSeek→apikey-Claude→apikey GPT,取关闭推理预检通过的第一条线路。目录缺失或开启推理失败分别保留,不阻断已通过关闭模式的工程测试;工程固定使用该关闭参数,不能失败后换线重跑。同原三模块/九测试/build/owner staged+unstaged+untracked保护,只给业务要求与通用流程,模型自己实现、封存变更、规划检查/Git;监督仅审查模型原提案、批准原检查及确认本地Git。
  5. Node真实闭环后新React/Python工程,再独立原版受限Purge AB/BA(off,on,on,off)四新工程。Purge1.1.78/Harness0.2.1-rc.2、purge-original-restricted-v1,固定源、模型、关闭推理参数、输入/预算/检查,逐请求证明原版实际加载和模型输入,确认所属进程树结束。不能用工作台独立提示实验代替原版。

预算、成功与停止

整批最多100次真实模型请求、700000报告tokens;每次派发前保留原宿主用量/未知预留检查。六次兼容预检每例最多1次/16000报告tokens。Node新样本固定24次/140000报告tokens/600000ms,16K上下文、2048输出与原1600保留预算;这个新预算不同旧8次样本,不作单因素性能比较。React/Python每例24次/140000,Purge每例24次/105000,均受总上限与剩余额度约束;不为后续阶段扩大总额。在途报告超额如实记录,不追加派发。

身份不符、网络/协议失败、未知消费、原预算/无进展停止、来源或用户配置变化均停止本例并封存;不改测试、加实现提示、人工代写、放宽期限或自动重放。配置写入如工程所需,通过原API临时修改身份/原生参数/预算/选择,finally按原语义恢复,仅允许已声明的单调修订/时间戳/观察健康变化;原凭据修订不变。外部编辑不覆盖,明确核对差异。

工程成功需原测试+build(React另类型/真实页面)、模型来源的完整变更集、实际应用、当前输入证据和本地已确认Git交付,原owner修改及暂存不变。审批监督次数、请求/用量/缓存/unknown/墙钟/错误/停止原因独立列出。Purge更早失败不算节省;只有四例与同成功标准成立才给描述性对比,不宣称统计显著或费用。

如Node未闭环,React/Python/Purge前置未满足,记录明确未执行与原因;不制造对照收益。发现确定产品缺陷先封存失败,修复/回归/发行和另冻实验独立,不在原样本中改变代码或预算。

封存与提交

冻结前驱动自检:本地隔离六组合已通过(.qa/aa-driver-check-973a49f4-f5e8-432b-bc51-f6eaaefcfc33,6次合成请求、真实请求0)。首账本接口404、次Messages夹具数组误作text的两份失败保持;只修验收驱动,没有改变产品响应完整性守卫。驱动语法与diff检查后本地提交,再开始实际冻结。

新驱动scripts/live-aa、证据.qa/live-validation-aa;write-once,不递归搜索全部.qa,不改旧封存。每阶段对账原状态、核对实际请求/响应SHA、回顾并本地提交,全部完成后离线验证新manifest及Git原字节。不委派、不推送。原网络异常、型号不符、空响应、length、重复读取、预留边界、真实交付及Purge未知各自保留,新观察只作追加结论。