Files
Agent-Workbench/docs/LIVE-RETEST-H-REVIEW.md

3.1 KiB

H 回顾与后续修复优先级

本轮真实实测完成,结果见LIVE-RETEST-H-RESULTS。下列修复已在 I 阶段实现并以 1.24.2 本地交付,详见I验收;179项相关回归、夹具工程与实际Harness通过,真实配置模型仍未重测。下一按J新样本计划先严格身份预检。1.25桌面/能力扩展方案保留,本轮六例不续跑,不增加原预算或改写原分母。

  1. 先核对请求/返回模型身份。 原驱动只核对发送model和所属账本,漏查52份上游响应均返回另一个model;E也有相同缺口。Provider、模型中心、Task报告分别保存requestedModel与upstreamReportedModel及原响应来源;JSON/SSE的缺失、混合与不一致不得继续显示“实际Claude已核对”。未经核验的映射不能自动接受。新实测在第一份不一致响应后即暂停;若供应商有正式别名约定,先明确记录再比较,不能凭名称推断底层模型。先用本机JSON/SSE夹具验证一致/不一致/缺失/中断与旧记录兼容,再做新有界真实首请求,不读取Key。
  2. 把审查后推进到检查/Git的工作依据补齐。 G的同轮needs_review已经实际发生;Python应用后仍两次查询状态、核对计划,最后只新建检查计划而无剩余额度执行。核对continue-reviewed和受控Harness续接中实际应用SHA、当前Task阶段、已通过/失效的检查及下一允许动作是否清晰进入输入。保持模型自行实现、原计划绑定、显式审批和停止边界,不自动执行失效命令或跳过Git审查。用真实编译宿主证明“应用→新检查计划/审批→原测试→Git”完整路径,再开新真实样本验证;本机夹具通过单独记。
  3. 减少无新增事实的重复观察。 React五份有效源码实际保留5/5,仍把8597字符同一测试日志完整重读。检查同SHA工件的已读区间、实际最新工具结果和不变项目状态如何进入工作依据;无进展判定不能被每次工具自身日志时间改变而刷新。允许必要重读和失败分页,不删原日志、暗改测试或按观察工具名字一概阻断。检查分页区间并集、来源变更、应用后的旧SHA失效及新的真实结果;预算仍按已知usage与未知预留执行,不通过扩容掩盖空转。
  4. 再安排新真实批次。 新源切片通过相关回归、固定发行与保留原状态部署后,先确认所选连接的请求/返回身份一致或映射可验证,再制定新样本预算。工程交付和原版受限Purge AB/BA仍分别判定;失败早停不算节省,四例不推统计显著性,不用E/H失败Task续跑制造成功。原版保持默认关闭,直到同成功标准下出现可复核收益。

每项独立实现通过相关检查后小步本地Git,产品功能、夹具、真实模型及收益分开记录。H纯离线身份/效率工具和实测证据保留原发行;I产品修复已单独固定打包并核对原状态,不能倒写为H当时能力。