11 KiB
Tianshu 研究后的 Agent Workbench 采用计划
1.25.5默认策略更新:用户已明确取消默认本地额度与独立差异审查停顿,采用完整历史/输出额度透传和持久保存的请求批准、帮我批准、完全访问权限。下文16K/2048/1600及预算/审查硬门属于原阶段与历史实验契约,不作为新安装或当前开放运行默认;历史请求、失败、用量及Purge前置不倒改。实现与实际发行状态见开放与权限验收。要求与证据账本继续如实记录,证据缺失不阻挡开放写入或本地Git,也不伪称核验通过。
状态:分阶段采用中。A的要求来源与证据复核、B的单轮外显事实shadow先随1.24.9交付;A的本地原文草案、逐项用途/范围约定及原失败诊断闭环现随1.25.0完成独立发行、实际安装与保留原PID36552/instance/Provider的正式升级。网页/原生回看后的全原状态、证据离线及Git索引原字节复核通过,见1.25发行验收、发行身份和最终回顾。C–F仍为后续方案,真实实验G单独冻结,不能将1.25交付写成全计划完成。总目标仍是:真实工程能自主读取、修改、验证、解释失败并按约定交付。
本轮真实模型预算0;原V诊断网络partial、T/R/P/O原失败、重复读取、自主交付和Purge收益未验证保持,不续跑旧样本。下方验收要求保留完整目标,按实际切片逐项实现与报告。
本方案接续 1.25 任务要求与交付复核,不另立重复的任务/计划/模型池体系。研究依据见 源码审查。
接续A的实现及阶段回顾见TASK-AGREEMENT-C。草案只做本地原文分段、默认待审阅,不宣称模型语义提取准确率;范围记录不自签工程验收。1.25的源码ZIP603输入独立重建22/22、三载荷24套UI和12实际隔离安装通过;B的150份原工件/30快照再次核对,仍只记shadow。后续C–F及真实实验G保持原前置和独立范围。
A. P0:用户要求逐项对应真实成果
**问题:**测试、Git 或模型的完成答复各自成立,也可能仍漏掉用户要的业务功能。
实施入口:现有 src/shared/contracts/task-plans.mjs、src/core/tasks/task-plan-manager.mjs、src/core/context/delivery-progress.mjs、交付报告及 src/core/git-delivery.mjs。
- 在所属 Task 下记录要求 ID、用户原文来源、修订、范围、验收方式、证据类别和当前状态。模型提取只生成草案,含糊处保留 unknown;参考文件不能自动变成待修改文件。
- 要求映射到真实文件/变更集/检查作业/浏览器断言/用户验收。核对 Task、要求修订、源 SHA、作业和工件原字节;非空 evidence 字符串不算通过。
- 分开“模型声称完成”“工程检查通过”“业务要求已核验”“待用户体验”“按约定未执行”。阻塞不能自动成为已完成。
- 普通任务沿用现有入口,任务、报告和交付处显示同一份要求事实。用户追加要求后只使相关旧证据失效,保留原失败与已确认事实。
验收必须覆盖:跨项目/旧 Task 证据拒绝;相同文字不同来源;要求修订;源码变化;伪造/过期/缺失证据;无需测试约定;仅研究;已有成果;中途追加;UI/手机的所属权限。保留当前检查/Git 硬门,不采用第三方“保存即交付”语义。
完成定义:固定案例能指出哪项已核对、依据是什么、哪项仍未知;相关契约/HTTP/并发/恢复检查、实际网页和 Electron 核心路径、独立发行与回顾通过后才交付。
B. P0:单轮进展与失败分类,先 shadow
**问题:**当前跨 Run 无进展和读取进度保护已存在,但一个 Run 内仍可能反复读同一页、重复解释或与坏工具周旋。
实施入口:src/server/runtime.mjs、src/core/context/working-set.mjs 和现有 Task/Run 事件;新增小型纯判断模块,不把两千行外部管线整块并入 runtime。
记录外显事实:新的文件范围/SHA、已有片段覆盖增长、原始失败类别变化、修改、当前源码检查、要求证据增长、正在运行的作业,以及真实用户边界。不要保存或评分私有思维过程。
必须区别:
| 行为 | 初始判断 |
|---|---|
| 同文件不同偏移且取得新字节 | 有效进展 |
| 相同 SHA/范围重复获取,结果未变 | 候选重复 |
| 新失败揭示真实环境/权限/网络问题 | 新证据或阻塞,不直接催写 |
| 等待所属检查/审批/用户输入 | 等待状态 |
| 研究任务只读并形成可核对结论 | 有效工作 |
| 同一拒绝/相同无效输入反复提交 | 无效重复候选 |
| 增加提示/改写总结,没有新证据 | 不计工程成果增长 |
第一版只记 shadow 判断与依据,不改变停止、权限或预算。固定“正常探索、分页、研究、长测试、失败修复、权限拒绝、工具损坏、真实空转”样本人工核对后,再确定提示阈值。记录误报和漏报,不能只用总准确率掩盖合法只读被打断。
不照搬 Tianshu 的低分/高错误公式。若后续增加干预,先有单次提示和冷却;硬停止沿用明确预算/取消等确定性规则,每条必须可解释、可回顾。
C. P1:工具 surface 与前缀稳定性实测
**问题:**不知道模型本轮究竟看到了哪些工具,也难解释重复动态信息为什么让长前缀失效。
实施入口:现有模型请求计划、runtime.mjs 的 availableTools/filter、协议适配和原模型尝试工件。
- 对最终实际发送的工具保存 name、schema hash、字节数、可见/未装配/禁用/缺少当前资源的原因和 generation。区别注册能力与本轮可执行能力。
- 对规范化请求记录稳定块哈希、最长公共前缀、首次变化区段/原因、用户消息实例身份,以及主路径/侧路归属。诊断元数据不反过来污染模型前缀。
- 分开上下文 tokens、输出预留、HTTP body bytes、图片体积和供应商缓存用量。供应商未报告的命中保留 unknown,不能估成已节省费用。
- 先比较 U 原始请求的离线构造;若优化增量附录或冻结,必须证明原目标、所有已读片段、当前失败、工具结果配对及权限仍在。
验收:连续两次“继续”是两个实例;旁路不改主线;工具撤销后执行被拒绝;新增浏览器 tab/Skills/MCP 时 surface 修订可解释;中途保存新配置不悄悄改旧请求;旧工件仍能核对。
阶段保持 16K/2048/1600 现有预算。优化收益必须报告实际输入/缓存/请求次数/延迟/成功率,不用单一命中率代替。
D. P1:有预算和回读的提醒
**问题:**多个监督模块可能重复输出建议、消耗上下文,却不知道是否有效。
在现有错误/进展提醒入口增加建议队列:稳定 key、Task/Run、来源、类别、TTL、字节/token 额度、实际送达回执、期待的可观察变化、冷却和退出条件。总提示额度也要有界;高等级不能无限豁免上下文预算。
“已送达”和“已采纳”分开;真实作业/新增证据满足期待才核销。模型回复“明白”不计。遇到审批、环境受阻或用户改变任务,提示要过期或转状态,不能强行换目标。
验收:同类去重;无事实不建议不存在工具;已自然解决撤销;连续无效降频;关闭后不注入;取消后不回写;迟到回读不能核销新 Task。已有权限门不依赖建议队列,普通提醒故障不得开放权限。
E. P2:经验草稿和可回滚采纳
**问题:**重复成功和失败经验需要复用,但不能让错误结论污染后续任务。
沿用项目记忆、Skills 和 evaluation:有来源的成功轨迹/失败归因生成 draft,保留输入 SHA、模型/版本、实际检查、适用范围、反例和失效条件。默认不激活;独立复核后才批准进入发现列表。
状态分开:observed、model_suggested、source_checked、engineering_verified、user_confirmed、rejected、expired;LLM 准入评分不直接写成工程已验证。草稿不能携带原密钥、把第三方输出当指令或自增权限。
改自身代码仍走既有候选工作区 → 固定评测 → 父审查 → 当前检查 → 独立发行 → 回滚。不能边运行正式版本边自改发行载荷,也不能因一次单模型评价就发布。
F. P2:角色路由与多智能体质量回收
前置:单模型 Node 自主交付先通过,要求/进展机制已验证;已有 worker 的停止、预算和父审查不退化。
借鉴每工单模型绑定与派发目标盖章:角色、目标、scope、模型连接修订、上下文/工具代次、预算和输出证据在派发时固定。主控回收时对账真实修改/验证/要求,不按 worker 自填 passed 认定。
默认模型、新工单路由和已有 Task 身份分开;更换供应商/型号/凭据主体须按显式政策记录。429/Retry-After 与 unknown 消费沿用现有模型池记录,不能用自动切线隐藏失败。
验证先用已有连接的合成客户端场景,之后才冻结新的真实模型角色样本。增加 reviewer 还要报告额外消费、延迟和发现的真实问题,不能默认多代理一定更好。
G. 真实交付与 Purge 独立实验
原 V 依冻结规则已在诊断 partial 结束,旧 T/R/P/O 不续跑;研究完成不授权重放旧样本。下一真实实验另冻当前版本、来源、目标、连接身份、预算和停止规则,不在看到结果后改门槛。
顺序保持:新有界预检/Node → Node 真闭环后 React/Python → 独立原版 Purge AB/BA。Tianshu 借鉴策略若要测收益,应另列实验因素,不能同时换模型、提示、预算和工具后把变化全归给 Purge。
报告至少包含:
| 维度 | 必须保留 |
|---|---|
| 任务结果 | 原要求覆盖、原测试与当前源码、实际差异/交付;未完成和失败类别 |
| 成本 | 主线/侧路/评审的请求数、输入/输出/缓存 token、unknown 与人工介入 |
| 时间 | 总墙钟、首响应、工具/检查/等待/重试时间 |
| 过程 | 实际工具及参数、已读范围、配置身份和停止原因 |
| 比较 | 同题同模型同预算、顺序平衡、样本量和排除规则;小样本只报观察 |
先排除确定的本地功能问题,再运行冻结样本。网络/环境受阻独立分类,不能归成模型推理失败,也不能删除失败后只展示成功。
H. 里程碑回顾与交付纪律
每个切片都回顾:原问题是否复现;改动解决哪条证据;现有能力是否重复/退化;是否引入额外模型消费;未验证事项是什么;下一步是否具备前置条件。
代码相关验证通过后只做必要扩展;不为研究文档重跑整套产品安装。真正产品变更再执行该切片的构建、实际入口、独立载荷、保留状态升级、证据封存和本地 Git。计划中功能不能在 UI 宣称已完成,不自动推送远端。
当前实施优先级:A与B(已本地交付)→ C(下一切片)→ D → E/F(满足前置)。真实模型与Purge走G的单独冻结样本;安装校验性能优化、更多语音/电脑操控仍保留原独立排期,避免并入一次无法判断收益的大改。