Files
Agent-Workbench/docs/QA-M1-MODEL-PARAMETER-FIDELITY.md
T

7.0 KiB
Raw Blame History

M1 首批:参数保真与官方推理模式验收

2026-11-06;源码 68603f9c76ac6219feddbf28a41e8d388a71c52e,基线 8ae492301b7cefd88854fb8ed1ddb38d230146fc。本批修复 I01/I02/I03;I08 仅修直接相关参数说明,其余权限说明仍待后续。这是已验证的源码修复,未发行、安装或重启;M1 尚未全部完成。 原审查和历史实验报告保留原结论。

用户可见结果

  • 改强度保留 reasoning.summary、output_config.format 和未知同级字段;改模式/预算保留 thinking.display 等字段。原输入不被修改。
  • 模式与强度独立;强度恢复默认只删除 effort,模式恢复默认保留独立强度。移出旧 enabled 时只移除其 budget_tokens,界面明确说明。
  • thinking 保留其他字段时仍需要 type。四个精确官方型号恢复默认使用其官方 adaptive;未知或目录否定的默认模式不猜测,保留原 JSON,界面说明可在 JSON 明确删除整个 thinking 来恢复默认。
  • 切换兼容档不再隐式改写原 JSON;Chat/Responses 强度控件不再删除独立 thinking。
  • Chat 显式 stream_options 原样发送,包括空对象和 null;只有缺省且流式时才添加原有 include_usage:true。路由成员分别使用自己的参数。
  • 自动档按四个精确 Messages ID 匹配官方模式和五档 effort。条件不符的快捷选项明确不可用;已配置的原值仍显示、可保存,开放请求仍由上游判定。显式兼容档与原生 JSON 保留覆盖入口。
  • 目录保存逐选项 supported/unsupported/unknown,新增 between_tools;全否定不回退全支持,失配型号元数据不用于当前型号。旧目录已丢失的否定信息不能凭空重建,需以后正常刷新。
精确型号 官方模式 默认 effort
claude-fable-5-1 adaptive high
claude-opus-5-5 adaptive medium
claude-sonnet-5-5 adaptive / between_tools(后者限 high 或以下) high
claude-haiku-5-5 disabled / adaptive(disabled 限 high 或以下) medium

四型号均有 low/medium/high/xhigh/max。来源为 Anthropic Thinking 与 Effort,2026-11-06 复核既有官方导出与完整目标文章,不是新抓取或全站重读。不按品牌、大小写、日期后缀或代理别名猜测。上游声明优先于后备选项;这不是全球注册表或真实代理兼容证明。

实际验证

验证 结果与边界
新专项 最终 12/12;实际本机 HTTP Chat SSE / Responses JSON / Messages JSON;单次合成 400 原文保留、无重试、unknown 用量不补造
相关回归 110/110;推理、目录、Messages、三协议、官方容量、透传截断诊断、流式。编译 HTTP 使用独立 candidate-app-2
build-2 TypeScript、Vite、手机壳、服务端与 Electron bundle 通过;版本仍 1.25.12,仅测试构建
独立身份 1203 项构建/源码/脚本/测试清单输入,30 项编译载荷;最终只有验证器脚本发生已记录修订,产品源码与冻结输入相符
桌面候选 同一 30 项编译载荷逐 SHA 相同;另附所属 Electron/图标,共 104 文件,不是正式程序包
网页 最终 7 组、7 次自有请求;保存/重开/刷新、条件选项、显式兼容/自定义值和本机 wire 一致
实际 Electron 相同 7 组、7 次自有请求通过,非网页模拟桌面
1280 / 390 两端实际操作并实看宽屏、Sonnet 窄屏控件/JSON及负声明/自定义边界;无页面横向溢出,保存动作可达。长自定义值可从完整 JSON 查看
访问与页面 两端最终 pageerror 0、外部请求 0。全部模型请求为本机合成,无真实 Key/真实模型/正式数据写入

入口:专项、两端验证器、机器记录。原件在 .qa/m1-model-parameters-2026-11-06/,MANIFEST.json 索引原文件 SHA/大小;构建身份、官方目标文章 SHA、两端结果和首轮失败均保留。原始载荷/临时夹具不提交 Git。

$env:AGENT_WORKBENCH_API_KEY = $null
$env:AGENT_WORKBENCH_TEST_APP_ROOT = '<独立 candidate-app-2 绝对目录>'
node --test --test-concurrency=1 tests/model-parameter-fidelity.test.mjs tests/reasoning-settings.test.mjs tests/model-catalog.test.mjs tests/anthropic-messages.test.mjs tests/model-protocols.test.mjs tests/official-model-capacity.test.mjs tests/passthrough-output-diagnostics.test.mjs tests/model-stream.test.mjs
$env:AGENT_WORKBENCH_QA_APP_ROOT = '<独立候选绝对目录;桌面须包含所属 Electron>'
node scripts/verify-model-parameter-fidelity-ui.mjs
node scripts/verify-model-parameter-fidelity-ui.mjs --desktop

原失败与回顾

  1. core-1/build-1 通过后,复核发现默认重置会留下无 type 的 thinking;最终源码修正,core-2/build-2 和两端覆盖新语义。前一成功不能代替最终检查。
  2. 首轮冻结枚举整个大型仓库,超出默认 execFileSync 缓冲,ENOBUFS。部分 candidate-app 未使用、未删除;原工具输出被截断,freeze-attempt-1.json 如实只是摘要。限定路径/8 MiB 缓冲后新建 candidate-app-2,不覆盖原目录。
  3. 网页首轮过五组后,验证器向文本检测提供 SSE;产品正确拒绝无效 JSON。改用 streaming 检测后七组通过,原失败/截图/日志保留。首轮验证器未在失败分支保存 requests.json,不能声称该轮完整 wire 已归档。
  4. Electron 首轮 firstWindow 前退出,0 自有模型请求;候选缺少所属 Electron,宿主登记无法核对。新桌面候选附独立运行时并按其身份启动,同一编译载荷通过;未放宽宿主检查或修改正式进程。
  5. 调查期间有过量读取截断、PowerShell 通配路径不适用、猜测文件不存在,以及一轮文档 patch 锚点不符且原子未应用,均保留为过程记录,不计产品测试通过。

复核覆盖三层:编辑字段/官方合同、实际本机请求/原错/用量、真实表单持久化。原生默认不限、完整历史、持久权限保持;Messages 必填容量沿上一精确官方修复,未退回 2048;Chat/Responses 不自动加可选输出额度。本轮未改预算、Run、用户工程、真实连接或原历史。

下一批

继续 M1 的 I04 自动选模、I08 其余权限说明,再修 I05/I06/I07/I33/I38 的 MCP/schema、检查点、手机和凭据登记门槛。手选/显式覆盖仍透传,不把自动适配变成全局拒发;之后 M2 来源化契约/缓存连续性,再统一 M3 发行。

W 的只读无交付/未触达 v2 边界、AD 的 Claude missing max_tokens 和网络原错、AE 成功与解释器原失败、AG 三网络失败和一个交付保持。真实供应商普遍兼容、缓存不掉、重复读取/角色/经验普遍收益与 Purge 收益 unknown 不由本轮合成验证改写。