Files
Agent-Workbench/docs/LIVE-MODEL-PURGE-RESULTS.md
2026-11-02 19:03:18 +08:00

8.1 KiB
Raw Permalink Blame History

真实模型工程交付与 Purge 提示对照:原样本结果

2026-11-02。正式 Agent Workbench 1.24.0,原宿主 PID36552。方案见 实测计划,后续修复见 真实执行修复计划。

结论

本轮六个原样本均未完成“源码修复 → 原检查通过 → 审查应用 → Git交付”。这说明当前配置下的真实工程执行仍不达标。不能把历史夹具回归通过、模型读过文件或留下提案,称为自主交付通过;也不能据这些失败判定模型本身没有编程能力。

本轮20次真实模型尝试,上游报告419597 tokens;另有一次连接失败用量未知,保留11055 tokens本地预估,不计作确认零消耗。不编造费用。19份实际SSE响应的最终usage与请求账本逐项一致。代理声明的模型名仅证明本次路由标识,未独立验证上游权重身份。

Purge开/关两轮均未交付,未测出交付收益。开启组报告138758 tokens,关闭组78875 tokens;开启组有一例留下两个pending提案。样本很小,且都提前失败,不能把耗时差解释为完成速度提升。本轮只测内置独立工程提示段,未加载原版dsh-purge插件;原版插件收益仍未测。

六个原样本

样本 实际尝试的模型标识 请求 上游报告tokens 原始结果 已有工程证据
React多文件修复 gpt-6.1-sol 1 未知 连接超时,未交付 没有源码提案、原检查或交付;约20秒
Python多文件修复 claude-opus-5-5 6 201964 token_limit暂停,未交付 原测试6项1通过/5失败;6文件编译通过;未提案,约47秒
Node r1-off claude-opus-5-5 3 33608 engine_input_budget暂停 原9项测试全失败、build通过;未提案,140.282秒
Node r1-on claude-opus-5-5 4 75937 engine_input_budget暂停 两个pending提案;未执行原检查、未形成变更集,71.226秒
Node r2-on claude-opus-5-5 3 62821 engine_input_budget暂停 原9项测试全失败、build通过;未提案,42.180秒
Node r2-off claude-opus-5-5 3 45267 engine_input_budget暂停 原9项测试全失败、build通过;未提案,38.433秒

没有样本进入审查应用或Git交付,React页面验收也没有运行。没有追加实现答案、故障后的定向提示、扩大预算或重跑原失败。驱动只审批模型自己提出的固定检查;四个Node原生引擎进程均已结束,原退出/进程树记录和外部PID核对一致。

全批次实际监督操作为4次固定原检查审批,0次提案应用、0次Git确认、0次续接、0次定向实现提示。真实Python检查使用原宿主发现的3.11.15解释器;原运行器/依赖身份保留在check-input与原检查结果,不能借用离线QA解释器版本。

首个React的连接失败与其余五个样本分开。之后在新请求前固定Claude连接09b0293b、revision1、Chat Completions流式;不跨模型混算成功率或Purge差值。React使用GPT连接5b4daed9、revision2、非流式。连接诊断曾观察到默认Node连接超时、IPv4优先收到404;这仅说明当时的连接可达性差异,不证明鉴权模型POST可用。

同源对照与容量阻断

四个Node样本严格核对同一个Git源码树41273610f54e83686aa81c9835bfce565bd504d4、全部源码SHA、原测试、目标、允许路径、检查、驱动SHA、模型连接/修订和受控Harness安装身份。采用AB/BA顺序,分别固定110000 token累计预算、24步、80工具、10分钟;contextLimit16000、输出预留2048。实际请求包含各自Task/Run/路径身份,不能称请求字节完全相同。

开启组每一次实际原生模型输入,包括最后被拒绝的输入,都含唯一完整的封存提示段;关闭组不含该段。来源为dsh-purge 1.1.78九份文件的身份锁定,实际实现是workbench-independent-prompt-v1,upstreamPluginLoaded=false、automaticRetry=false、hostModification=false。

样本 最后输入估算tokens 输出与固定预留 合计所需 封存容量 是否发出这次请求
r1-off 15889 2176 18065 16000 否
r1-on 14342 2176 16518 16000 否
r2-on 15769 2176 17945 16000 否
r2-off 15450 2176 17626 16000 否

容量按封存流式路由、完整工具schema及原生消息重建。对所有已发请求重建的SHA和估算值,均与原engine-model-input记录一致。四次被拒绝输入可从原native bridge报告复核,不算新增模型请求。早先r1-off诊断文件算出18052,未包括stream_options的13tokens估算差异;保留原件,以本次精确路由重建值18065为准。

初始工程依据约13.5KB,工具schema约7.3KB;追加读文件、检查和提案反馈后,最后wire输入约41.8~46.5KB。当前受控桥对这个小工程都没有留下足够的后续修复空间,原失败检查回来后就会触发容量门槛。提高容量可能延后暂停,但不能证明上下文治理已经修好。

本地UTF-8估算与代理报告的prompt tokens明显不一致。Python各响应报告约2.5万~3.7万输入tokens,不能把本地16K配置当成实际tokenizer或供应商容量证明。Python一个在途响应使原运行报告总量达到201964,超过200000宿主门槛和180000外层观察阈值,原运行随后暂停;没有隐去超额或继续增量。费用、可用窗口和预算校准需要分别处理。

原版插件边界

上游lib/index.js的apply路径还注册身份/系统提示、地区门槛、fullAccess、继续/重试及home初始化等逻辑。当前受控profile没有实际加载它,九份文件SHA和提示段生效只能证明来源及独立提示实验。

原版收益复验需要新增可核验的隔离加载方案:独立DSH_HOME/配置/工作区,实际插件加载收据与最终模型输入,所有重试和真实用量,工具权限制约及所属进程退出。必须先解决当前容量问题,再预注册原插件开/关实验;不能借用本轮提示实验、固定HTTP回答或连接探针宣称插件增强成功。

状态与证据

实测结束后恢复原池68e30376-b799-445b-a858-db2dba9920a0,正式仍1.24.0/PID36552/hasKey=true,无活动,唯一宿主监听127.0.0.1:4318,9229关闭。没有读取、复制、导出或更换API Key,没有续跑原用户任务,没有重启或升级正式载荷。

原17项目payload、33全部会话导出、3239记录、6230事件/原outbox行、1780工件文件及70条模型尝试均保持。追加12个自有源/工作区工程、12会话、568记录、1334事件;这些新增行均核对所属测试会话。原项目position严格顺移12;三次模型选择使配置/模型中心修订增加3,saveConfig物化已知等待默认值。对这些明确变动逆算后,完整原行SHA匹配;不能称全表或配置文件原字节完全不变。原连接凭据存在位/修订、池、导入和等待设置保持,真实健康状态和新尝试保留。

公开execution工件投影先收157份引用,补收原数据库所属工件元数据后共381条工件记录,覆盖全部342个新增唯一文件;每个原字节核对SHA与长度,合计记录字节6426284(含重复内容记录)。六个源工程72份Git基线文件另行封存。

Python原result.json的model误用了bootstrap旧GPT字段。这是验收器元数据缺陷,原件不改写;六条ModelHub尝试、Run快照和原请求体均确认实际路由为Claude。采集结果另列actualModels,避免把旧公共字段当真实模型。后续通用验收器修复列入计划。

完整原样本、原请求/响应、工具/检查/native协议、原失败驱动与收据见 证据清单;统计与输入分析见 analysis.json,原状态保持见 state-preservation.json。原用户快照仅保存SHA收据,不进入Git。仅本地Git,无远端推送。