Files
Agent-Workbench/docs/TIANSHU-ADOPTION-PLAN.md
T

124 lines
12 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Tianshu 研究后的 Agent Workbench 采用计划
当前本地正式1.25.5已交付:unrestricted/full已持久保存并实际重启,升级与重启当时原数据exact;随后外部40事件及新增会话单列复核。PID71628;重启后临时内存Key已消失,公开hasKey=false;需用户在模型中心补填。来源/范围/原失败与未验证项见[开放与权限验收](QA-OPEN-PERMISSIONS-1.25.5.md)和[发行身份](open-permissions-1.25.5-release-identity.json)。C–F/真实实验G继续按各自前置推进,不能据此代签。
1.25.5默认策略更新:用户已明确取消默认本地额度与独立差异审查停顿,采用完整历史/输出额度透传和持久保存的请求批准、帮我批准、完全访问权限。下文16K/2048/1600及预算/审查硬门属于原阶段与历史实验契约,不作为新安装或当前开放运行默认;历史请求、失败、用量及Purge前置不倒改。实现与实际发行状态见[开放与权限验收](QA-OPEN-PERMISSIONS-1.25.5.md)。要求与证据账本继续如实记录,证据缺失不阻挡开放写入或本地Git,也不伪称核验通过。
状态:分阶段采用中。A的要求来源与证据复核、B的单轮外显事实shadow先随1.24.9交付;A的本地原文草案、逐项用途/范围约定及原失败诊断闭环现随1.25.0完成独立发行、实际安装与保留原PID36552/instance/Provider的正式升级。网页/原生回看后的全原状态、证据离线及Git索引原字节复核通过,见[1.25发行验收](QA-TASK-AGREEMENT-1.25.md)、[发行身份](task-agreement-1.25-release-identity.json)和[最终回顾](RETROSPECTIVE-TASK-AGREEMENT-1.25.md)。C–F仍为后续方案,真实实验G单独冻结,不能将1.25交付写成全计划完成。总目标仍是:真实工程能自主读取、修改、验证、解释失败并按约定交付。
本轮真实模型预算0;原V诊断网络partial、T/R/P/O原失败、重复读取、自主交付和Purge收益未验证保持,不续跑旧样本。下方验收要求保留完整目标,按实际切片逐项实现与报告。
本方案接续 [1.25 任务要求与交付复核](PLAN-1.25.md),不另立重复的任务/计划/模型池体系。研究依据见 [源码审查](TIANSHU-HARNESS-SOURCE-REVIEW.md)。
接续A的实现及阶段回顾见[TASK-AGREEMENT-C](TASK-AGREEMENT-C.md)。草案只做本地原文分段、默认待审阅,不宣称模型语义提取准确率;范围记录不自签工程验收。1.25的源码ZIP603输入独立重建22/22、三载荷24套UI和12实际隔离安装通过;B的150份原工件/30快照再次核对,仍只记shadow。后续C–F及真实实验G保持原前置和独立范围。
## A. P0:用户要求逐项对应真实成果
**问题:**测试、Git 或模型的完成答复各自成立,也可能仍漏掉用户要的业务功能。
实施入口:现有 `src/shared/contracts/task-plans.mjs`、`src/core/tasks/task-plan-manager.mjs`、`src/core/context/delivery-progress.mjs`、交付报告及 `src/core/git-delivery.mjs`。
1. 在所属 Task 下记录要求 ID、用户原文来源、修订、范围、验收方式、证据类别和当前状态。模型提取只生成草案,含糊处保留 unknown;参考文件不能自动变成待修改文件。
2. 要求映射到真实文件/变更集/检查作业/浏览器断言/用户验收。核对 Task、要求修订、源 SHA、作业和工件原字节;非空 evidence 字符串不算通过。
3. 分开“模型声称完成”“工程检查通过”“业务要求已核验”“待用户体验”“按约定未执行”。阻塞不能自动成为已完成。
4. 普通任务沿用现有入口,任务、报告和交付处显示同一份要求事实。用户追加要求后只使相关旧证据失效,保留原失败与已确认事实。
验收必须覆盖:跨项目/旧 Task 证据拒绝;相同文字不同来源;要求修订;源码变化;伪造/过期/缺失证据;无需测试约定;仅研究;已有成果;中途追加;UI/手机的所属权限。保留当前检查/Git 硬门,不采用第三方“保存即交付”语义。
完成定义:固定案例能指出哪项已核对、依据是什么、哪项仍未知;相关契约/HTTP/并发/恢复检查、实际网页和 Electron 核心路径、独立发行与回顾通过后才交付。
## B. P0:单轮进展与失败分类,先 shadow
**问题:**当前跨 Run 无进展和读取进度保护已存在,但一个 Run 内仍可能反复读同一页、重复解释或与坏工具周旋。
实施入口:`src/server/runtime.mjs`、`src/core/context/working-set.mjs` 和现有 Task/Run 事件;新增小型纯判断模块,不把两千行外部管线整块并入 runtime。
记录外显事实:新的文件范围/SHA、已有片段覆盖增长、原始失败类别变化、修改、当前源码检查、要求证据增长、正在运行的作业,以及真实用户边界。不要保存或评分私有思维过程。
必须区别:
| 行为 | 初始判断 |
|---|---|
| 同文件不同偏移且取得新字节 | 有效进展 |
| 相同 SHA/范围重复获取,结果未变 | 候选重复 |
| 新失败揭示真实环境/权限/网络问题 | 新证据或阻塞,不直接催写 |
| 等待所属检查/审批/用户输入 | 等待状态 |
| 研究任务只读并形成可核对结论 | 有效工作 |
| 同一拒绝/相同无效输入反复提交 | 无效重复候选 |
| 增加提示/改写总结,没有新证据 | 不计工程成果增长 |
第一版只记 shadow 判断与依据,不改变停止、权限或预算。固定“正常探索、分页、研究、长测试、失败修复、权限拒绝、工具损坏、真实空转”样本人工核对后,再确定提示阈值。记录误报和漏报,不能只用总准确率掩盖合法只读被打断。
不照搬 Tianshu 的低分/高错误公式。若后续增加干预,先有单次提示和冷却;硬停止沿用明确预算/取消等确定性规则,每条必须可解释、可回顾。
## C. P1:工具 surface 与前缀稳定性实测
**问题:**不知道模型本轮究竟看到了哪些工具,也难解释重复动态信息为什么让长前缀失效。
实施入口:现有模型请求计划、`runtime.mjs` 的 availableTools/filter、协议适配和原模型尝试工件。
- 对最终实际发送的工具保存 name、schema hash、字节数、可见/未装配/禁用/缺少当前资源的原因和 generation。区别注册能力与本轮可执行能力。
- 对规范化请求记录稳定块哈希、最长公共前缀、首次变化区段/原因、用户消息实例身份,以及主路径/侧路归属。诊断元数据不反过来污染模型前缀。
- 分开上下文 tokens、输出预留、HTTP body bytes、图片体积和供应商缓存用量。供应商未报告的命中保留 unknown,不能估成已节省费用。
- 先比较 U 原始请求的离线构造;若优化增量附录或冻结,必须证明原目标、所有已读片段、当前失败、工具结果配对及权限仍在。
验收:连续两次“继续”是两个实例;旁路不改主线;工具撤销后执行被拒绝;新增浏览器 tab/Skills/MCP 时 surface 修订可解释;中途保存新配置不悄悄改旧请求;旧工件仍能核对。
阶段保持 16K/2048/1600 现有预算。优化收益必须报告实际输入/缓存/请求次数/延迟/成功率,不用单一命中率代替。
## D. P1:有预算和回读的提醒
**问题:**多个监督模块可能重复输出建议、消耗上下文,却不知道是否有效。
在现有错误/进展提醒入口增加建议队列:稳定 key、Task/Run、来源、类别、TTL、字节/token 额度、实际送达回执、期待的可观察变化、冷却和退出条件。总提示额度也要有界;高等级不能无限豁免上下文预算。
“已送达”和“已采纳”分开;真实作业/新增证据满足期待才核销。模型回复“明白”不计。遇到审批、环境受阻或用户改变任务,提示要过期或转状态,不能强行换目标。
验收:同类去重;无事实不建议不存在工具;已自然解决撤销;连续无效降频;关闭后不注入;取消后不回写;迟到回读不能核销新 Task。已有权限门不依赖建议队列,普通提醒故障不得开放权限。
## E. P2:经验草稿和可回滚采纳
**问题:**重复成功和失败经验需要复用,但不能让错误结论污染后续任务。
沿用项目记忆、Skills 和 evaluation:有来源的成功轨迹/失败归因生成 draft,保留输入 SHA、模型/版本、实际检查、适用范围、反例和失效条件。默认不激活;独立复核后才批准进入发现列表。
状态分开:observed、model_suggested、source_checked、engineering_verified、user_confirmed、rejected、expired;LLM 准入评分不直接写成工程已验证。草稿不能携带原密钥、把第三方输出当指令或自增权限。
改自身代码仍走既有候选工作区 → 固定评测 → 父审查 → 当前检查 → 独立发行 → 回滚。不能边运行正式版本边自改发行载荷,也不能因一次单模型评价就发布。
## F. P2:角色路由与多智能体质量回收
前置:单模型 Node 自主交付先通过,要求/进展机制已验证;已有 worker 的停止、预算和父审查不退化。
借鉴每工单模型绑定与派发目标盖章:角色、目标、scope、模型连接修订、上下文/工具代次、预算和输出证据在派发时固定。主控回收时对账真实修改/验证/要求,不按 worker 自填 passed 认定。
默认模型、新工单路由和已有 Task 身份分开;更换供应商/型号/凭据主体须按显式政策记录。429/Retry-After 与 unknown 消费沿用现有模型池记录,不能用自动切线隐藏失败。
验证先用已有连接的合成客户端场景,之后才冻结新的真实模型角色样本。增加 reviewer 还要报告额外消费、延迟和发现的真实问题,不能默认多代理一定更好。
## G. 真实交付与 Purge 独立实验
原 V 依冻结规则已在诊断 partial 结束,旧 T/R/P/O 不续跑;研究完成不授权重放旧样本。下一真实实验另冻当前版本、来源、目标、连接身份、预算和停止规则,不在看到结果后改门槛。
顺序保持:新有界预检/Node → Node 真闭环后 React/Python → 独立原版 Purge AB/BA。Tianshu 借鉴策略若要测收益,应另列实验因素,不能同时换模型、提示、预算和工具后把变化全归给 Purge。
报告至少包含:
| 维度 | 必须保留 |
|---|---|
| 任务结果 | 原要求覆盖、原测试与当前源码、实际差异/交付;未完成和失败类别 |
| 成本 | 主线/侧路/评审的请求数、输入/输出/缓存 token、unknown 与人工介入 |
| 时间 | 总墙钟、首响应、工具/检查/等待/重试时间 |
| 过程 | 实际工具及参数、已读范围、配置身份和停止原因 |
| 比较 | 同题同模型同预算、顺序平衡、样本量和排除规则;小样本只报观察 |
先排除确定的本地功能问题,再运行冻结样本。网络/环境受阻独立分类,不能归成模型推理失败,也不能删除失败后只展示成功。
## H. 里程碑回顾与交付纪律
每个切片都回顾:原问题是否复现;改动解决哪条证据;现有能力是否重复/退化;是否引入额外模型消费;未验证事项是什么;下一步是否具备前置条件。
代码相关验证通过后只做必要扩展;不为研究文档重跑整套产品安装。真正产品变更再执行该切片的构建、实际入口、独立载荷、保留状态升级、证据封存和本地 Git。计划中功能不能在 UI 宣称已完成,不自动推送远端。
当前实施优先级:**A与B(已本地交付)→ C(下一切片)→ D → E/F(满足前置)**。真实模型与Purge走G的单独冻结样本;安装校验性能优化、更多语音/电脑操控仍保留原独立排期,避免并入一次无法判断收益的大改。