Files
Agent-Workbench/docs/LIVE-MODEL-PURGE-PLAN.md
T
2026-11-02 18:30:59 +08:00

38 lines
4.0 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 真实模型工程交付与 Purge 实测方案
2026-11-02,用户明确要求单独实测。起点为正式1.24.0、原宿主PID36552和原Provider。本轮使用已配置模型真实请求,独立工程/新会话,不续跑既有用户任务,不读取、导出或复制API Key。
## 问题与样本
1. React多文件修复:筛选、搜索、统计、指定任务切换、实际桌面/390px页面,以及同源测试/类型检查/构建和本地Git交付。
2. Python多文件修复:数据规范化、统计和渲染,实际测试/编译和本地Git交付。
3. Node同源修复,两轮Purge提示实验开/关,顺序AB/BA。相同基线、原要求、实际模型连接/修订、协议、工具和预算。统计通过情况、真实请求、上游报告tokens、耗时、审批和失败原因。
首批最多6个新工程模型样本、每样本最多24请求/180000上游报告tokens/10分钟,总上限100请求/700000报告tokens。请求前仍受现有宿主封存预算约束;正在进行的请求可能使报告统计超过边界,必须记录实际值。超时、429、未知或能力门槛保留原结果,不以重跑覆盖失败。无上游可核对费用时不编造金额。
## 自主与人工边界
模型得到一次性需求、允许路径和通用工具流程。模型自己读源码、分析、写提案、准备检查/变更/Git计划。测试驱动只审批固定原检查、核对范围和应用模型原提案,不提供实现、参考答案或失败后的定向提示。有限step_limit续接、提案审查和Git确认分别计数。
因此结论是“有审批监督的工程交付样本”,并非无监督商业项目交付率。仅本地Git,不远端推送。功能通过、工程通过、Git交付、真实性和限制分别判定。
## Purge的真实接入范围
当前1.24的purge-strategy明确使用workbench-independent-prompt-v1;九份上游文件仅核对来源,upstreamPluginLoaded=false,automaticRetry=false,hostModification=false。开/关对照测的是内置工程提示段,不是完整dsh-purge插件。
上游1.1.78包含提示装配、重试/继续、权限与宿主修改等多条路径。原插件实测必须在独立Harness进程中核对实际加载、配置、最终模型输入、工具权限、所有尝试和所属进程结束;不能把源文件存在、提示段插入或固定HTTP夹具当实际插件收益。本轮先查明可运行条件;条件不足时明确列为未测,并记录具体缺口,不冒用对照结论。
两轮小样本仅作为先导观测,不做统计显著性或普遍性能结论。代理声明的模型名作为实际路由标识,不独立证明上游底层权重身份。
## 请求前条件修订与原结果
首个React使用原GPT连接,连接前超时,原样本保留为未交付/网络错误,没有重跑。只读HEAD证实Node默认DNS顺序连接jojocode超时,而IPv4优先和curl分别收到404;Claude代理的Node HEAD收到404。余下五个新样本固定已配置Claude连接09b0293b、revision1、Chat Completions流式;不跨模型合并成功率或token差值。
Python原样本6请求、201964报告tokens,原运行token_limit暂停,尚无改动。无追加提示和预算续接。为遵守总700000报告tokens,四个Purge对照样本在开始前统一固定原生子任务110000 token预算、24步/80工具/10分钟,保留每个实际停止原因和全部尝试。金额/币种三模块采用新固定Node样本,避免用相加函数样本代替工程能力。
## 状态保持与证据
请求前对原项目/会话/表/导出/工件散列;测试只追加独立工程与所属请求。模型选择暂时固定单连接,结束后恢复原池;保留原连接凭据与所有历史请求。请求/工具/检查/页面/交付原件保存到独立本机QA目录,Git只纳入本轮可审查且不含凭据的必要证据。
文档、结果和失败必须区分原样本与后续独立复验。发现产品缺陷先封存原失败,再单列修复和验证,不回写原样本成功。