Files
Agent-Workbench/docs/LIVE-MODEL-PURGE-RESULTS.md
T
2026-11-02 19:03:18 +08:00

66 lines
8.1 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 真实模型工程交付与 Purge 提示对照:原样本结果
2026-11-02。正式 Agent Workbench 1.24.0,原宿主 PID36552。方案见 [实测计划](LIVE-MODEL-PURGE-PLAN.md),后续修复见 [真实执行修复计划](LIVE-EXECUTION-REPAIR-PLAN.md)。
## 结论
本轮六个原样本均未完成“源码修复 → 原检查通过 → 审查应用 → Git交付”。这说明当前配置下的真实工程执行仍不达标。不能把历史夹具回归通过、模型读过文件或留下提案,称为自主交付通过;也不能据这些失败判定模型本身没有编程能力。
本轮20次真实模型尝试,上游报告419597 tokens;另有一次连接失败用量未知,保留11055 tokens本地预估,不计作确认零消耗。不编造费用。19份实际SSE响应的最终usage与请求账本逐项一致。代理声明的模型名仅证明本次路由标识,未独立验证上游权重身份。
Purge开/关两轮均未交付,未测出交付收益。开启组报告138758 tokens,关闭组78875 tokens;开启组有一例留下两个pending提案。样本很小,且都提前失败,不能把耗时差解释为完成速度提升。**本轮只测内置独立工程提示段,未加载原版dsh-purge插件;原版插件收益仍未测。**
## 六个原样本
| 样本 | 实际尝试的模型标识 | 请求 | 上游报告tokens | 原始结果 | 已有工程证据 |
| --- | --- | ---: | ---: | --- | --- |
| React多文件修复 | gpt-6.1-sol | 1 | 未知 | 连接超时,未交付 | 没有源码提案、原检查或交付;约20秒 |
| Python多文件修复 | claude-opus-5-5 | 6 | 201964 | token_limit暂停,未交付 | 原测试6项1通过/5失败;6文件编译通过;未提案,约47秒 |
| Node r1-off | claude-opus-5-5 | 3 | 33608 | engine_input_budget暂停 | 原9项测试全失败、build通过;未提案,140.282秒 |
| Node r1-on | claude-opus-5-5 | 4 | 75937 | engine_input_budget暂停 | 两个pending提案;未执行原检查、未形成变更集,71.226秒 |
| Node r2-on | claude-opus-5-5 | 3 | 62821 | engine_input_budget暂停 | 原9项测试全失败、build通过;未提案,42.180秒 |
| Node r2-off | claude-opus-5-5 | 3 | 45267 | engine_input_budget暂停 | 原9项测试全失败、build通过;未提案,38.433秒 |
没有样本进入审查应用或Git交付,React页面验收也没有运行。没有追加实现答案、故障后的定向提示、扩大预算或重跑原失败。驱动只审批模型自己提出的固定检查;四个Node原生引擎进程均已结束,原退出/进程树记录和外部PID核对一致。
全批次实际监督操作为4次固定原检查审批,0次提案应用、0次Git确认、0次续接、0次定向实现提示。真实Python检查使用原宿主发现的3.11.15解释器;原运行器/依赖身份保留在check-input与原检查结果,不能借用离线QA解释器版本。
首个React的连接失败与其余五个样本分开。之后在新请求前固定Claude连接09b0293b、revision1、Chat Completions流式;不跨模型混算成功率或Purge差值。React使用GPT连接5b4daed9、revision2、非流式。连接诊断曾观察到默认Node连接超时、IPv4优先收到404;这仅说明当时的连接可达性差异,不证明鉴权模型POST可用。
## 同源对照与容量阻断
四个Node样本严格核对同一个Git源码树41273610f54e83686aa81c9835bfce565bd504d4、全部源码SHA、原测试、目标、允许路径、检查、驱动SHA、模型连接/修订和受控Harness安装身份。采用AB/BA顺序,分别固定110000 token累计预算、24步、80工具、10分钟;contextLimit16000、输出预留2048。实际请求包含各自Task/Run/路径身份,不能称请求字节完全相同。
开启组每一次实际原生模型输入,包括最后被拒绝的输入,都含唯一完整的封存提示段;关闭组不含该段。来源为dsh-purge 1.1.78九份文件的身份锁定,实际实现是workbench-independent-prompt-v1,upstreamPluginLoaded=false、automaticRetry=false、hostModification=false。
| 样本 | 最后输入估算tokens | 输出与固定预留 | 合计所需 | 封存容量 | 是否发出这次请求 |
| --- | ---: | ---: | ---: | ---: | --- |
| r1-off | 15889 | 2176 | 18065 | 16000 | 否 |
| r1-on | 14342 | 2176 | 16518 | 16000 | 否 |
| r2-on | 15769 | 2176 | 17945 | 16000 | 否 |
| r2-off | 15450 | 2176 | 17626 | 16000 | 否 |
容量按封存流式路由、完整工具schema及原生消息重建。对所有已发请求重建的SHA和估算值,均与原engine-model-input记录一致。四次被拒绝输入可从原native bridge报告复核,不算新增模型请求。早先r1-off诊断文件算出18052,未包括stream_options的13tokens估算差异;保留原件,以本次精确路由重建值18065为准。
初始工程依据约13.5KB,工具schema约7.3KB;追加读文件、检查和提案反馈后,最后wire输入约41.8~46.5KB。当前受控桥对这个小工程都没有留下足够的后续修复空间,原失败检查回来后就会触发容量门槛。提高容量可能延后暂停,但不能证明上下文治理已经修好。
本地UTF-8估算与代理报告的prompt tokens明显不一致。Python各响应报告约2.5万~3.7万输入tokens,不能把本地16K配置当成实际tokenizer或供应商容量证明。Python一个在途响应使原运行报告总量达到201964,超过200000宿主门槛和180000外层观察阈值,原运行随后暂停;没有隐去超额或继续增量。费用、可用窗口和预算校准需要分别处理。
## 原版插件边界
上游lib/index.js的apply路径还注册身份/系统提示、地区门槛、fullAccess、继续/重试及home初始化等逻辑。当前受控profile没有实际加载它,九份文件SHA和提示段生效只能证明来源及独立提示实验。
原版收益复验需要新增可核验的隔离加载方案:独立DSH_HOME/配置/工作区,实际插件加载收据与最终模型输入,所有重试和真实用量,工具权限制约及所属进程退出。必须先解决当前容量问题,再预注册原插件开/关实验;不能借用本轮提示实验、固定HTTP回答或连接探针宣称插件增强成功。
## 状态与证据
实测结束后恢复原池68e30376-b799-445b-a858-db2dba9920a0,正式仍1.24.0/PID36552/hasKey=true,无活动,唯一宿主监听127.0.0.1:4318,9229关闭。没有读取、复制、导出或更换API Key,没有续跑原用户任务,没有重启或升级正式载荷。
原17项目payload、33全部会话导出、3239记录、6230事件/原outbox行、1780工件文件及70条模型尝试均保持。追加12个自有源/工作区工程、12会话、568记录、1334事件;这些新增行均核对所属测试会话。原项目position严格顺移12;三次模型选择使配置/模型中心修订增加3,saveConfig物化已知等待默认值。对这些明确变动逆算后,完整原行SHA匹配;不能称全表或配置文件原字节完全不变。原连接凭据存在位/修订、池、导入和等待设置保持,真实健康状态和新尝试保留。
公开execution工件投影先收157份引用,补收原数据库所属工件元数据后共381条工件记录,覆盖全部342个新增唯一文件;每个原字节核对SHA与长度,合计记录字节6426284(含重复内容记录)。六个源工程72份Git基线文件另行封存。
Python原result.json的model误用了bootstrap旧GPT字段。这是验收器元数据缺陷,原件不改写;六条ModelHub尝试、Run快照和原请求体均确认实际路由为Claude。采集结果另列actualModels,避免把旧公共字段当真实模型。后续通用验收器修复列入计划。
完整原样本、原请求/响应、工具/检查/native协议、原失败驱动与收据见 [证据清单](live-model-purge-1.24-evidence/manifest.json);统计与输入分析见 [analysis.json](live-model-purge-1.24-evidence/receipts/analysis.json),原状态保持见 [state-preservation.json](live-model-purge-1.24-evidence/receipts/state-preservation.json)。原用户快照仅保存SHA收据,不进入Git。仅本地Git,无远端推送。