Files
Agent-Workbench/docs/PLAN-1.20.md
2026-11-01 12:31:20 +08:00

31 lines
4.3 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 1.20 实施方案与交付范围:工程质量评测与受控自我迭代
1.20 A–F已完成,来源790350e,分支feat/engineering-evals-1.20。固定工程评测、同源原版/候选、原报告和受控采纳已进入产品;独立发行、保留状态升级和原生回看通过。结果见[验收](QA-1.20.md)、[回顾](RETROSPECTIVE-1.20.md)及[身份](engineering-evals-release-identity.json)。下一[PLAN-1.21](PLAN-1.21.md)仅方案;语音、通用电脑操作、更多引擎和真实推理收益分别排期。
## 用户能完成的任务
用户为一个工程改进选择固定需求、验收条件、来源提交、模型连接与预算,工作台在独立工作区生成候选,执行原测试、构建和必要页面检查,展示原始失败、最终差异、人工介入、时间及上游实际报告的用量。用户能比较原版与候选,审查后形成本地Git交付。工作台自身可以作为所选工程,但候选不得直接修改正在运行的发行或跳过既有安装验收。
## 切片与门槛
| 切片 | 实现范围 | 验收门槛 |
| --- | --- | --- |
| A:固定评测契约 | 审查已有40份基准和三种实际工程;选择少量代表任务,封存需求、来源、预期行为、环境、检查及预算 | 区分执行夹具、实际配置模型和人工修复;测试集不能由候选自行改成通过;每次运行有独立身份及原证据 |
| B:评测运行与账本 | 复用Task/Run、worker工作区、模型池、审批和原工件,增加批次/样本状态与有界串行调度 | 保存所有成功/失败/停止/未知样本;重启后不重放完成工具;连接不可用保留具体原因,不产生虚假分数 |
| C:可解释比较 | 同题同来源比较原版/候选;分别统计检查、页面、Git交付、人工介入、耗时和已知用量 | 任一缺失或未知结果显式展示;保持原分母和失败;固定回答只验证账本与执行链,不作为模型能力提升 |
| D:候选工程流程 | 从指定已提交基线创建隔离候选,保留原暂存/工作区;候选只能提出可审查改进 | 所属路径、来源、允许文件、检查输入及Git基线变化即失效;测试/验收代码变更单独审查;停止只结束所属进程 |
| E:工作台自身试点 | 选一个范围明确的自身问题,用同一候选流程生成补丁与对照报告,模型复核作为建议保留来源 | 真实代码/测试/构建/必要页面/Git均可核对;候选不触碰正式数据、内存连接、当前安装指针;多模型意见不代替验收 |
| F:完整交付与回顾 | 中文桌面/390px完整流程、独立源码/便携、同载荷安装、保留状态升级与原生回看 | 全部旧门槛保持;逐项记录计划/实现/证据/限制;原PID/Provider及全部表/导出/工件保持;小步本地Git |
## 复用与权限
实施选择:每批最多3个样本,按顺序显式推进;每个样本复用现有两个隔离工作区,其中原版不请求模型、禁止提案写入,只执行用户核对过的固定检查;候选仅开放明确的源码文件,原测试/声明/检查输入保持。创建后在任何执行前封存两个检出的同源文件和实际检查命令。界面采用样本队列与原版/候选并列证据,避免汇总分数掩盖失败。比较的是原工程和候选工程,不将原版检查当作另一个模型的回答。
复用现有隔离工作区、父工程审查、任务计划、检查、页面验收、请求预算和交付报告,不建立第二套执行内核。评测报告不包含Key或私有推理内容;原上游usage缺失时不补造费用。每个任务仍经过已有文件、命令、工具及设备权限,评测不是新的自动放权入口。
实际模型任务由用户在工作台选择可用连接并明确启动;开发回归使用自有本地HTTP。模型尚不可用时可验收账本、隔离、失败恢复和真实工具链,但模型自主完成率、多模型复核价值与Purge提升继续标为未验证。
## 收敛规则
本阶段不承诺任意项目自主交付、无限worker或自动部署。先交付固定样本的完整候选循环,再由失败分类决定下一项能力。每个切片回顾是否复用了现有机制、是否改善真实任务、是否扩大了权限或维护成本;未测出收益保留结论,不通过反复挑选样本制造提升。