Files
Agent-Workbench/docs/CASE-REACT-SOURCE-2026-11-01.md
T
2026-11-01 16:35:58 +08:00

152 lines
16 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# react-source 实际会话审查
状态:原案例审查完成;A–F系统缺陷已在1.20.1修复、独立验收并保留状态本地升级。后文保留原审查时的事实和判断,修复结果见文末。1.21工程依赖方案继续保留。
## 结论
用户要求“创建一个HTML,内容是SVG绘制一个鹈鹕骑自行车的2D动画,无需测试”。工作台确实生成并应用了`pelican-bike.html`,但随后把这个独立文件任务引向了无关的React工程修复。根因包括原目标在故障问答后脱离当前Task、审查后继续动作自动追加工程检查要求、上下文裁剪丢失原需求,以及无法识别跨步骤的无进展循环。
两次后续协议失败有更具体的原因:Claude兼容接口的完整SSE给无参数`inspect_project`返回空字符串参数,严格JSON校验拒绝了整组调用。拒绝未校验调用这一保护有效;兼容适配、错误说明及失败响应用量核算仍有缺口。这次不能据模型自称“Kiro”或接口型号推断底层模型是否缩水。
## 来源与观察范围
- 用户附件:`C:/Users/wangy/Downloads/agent-workbench-session-f8a5a714-183d-4d6c-af27-ed56c60225b2.json`,981,924字节,SHA-256 `8ad76d212727e7d849a9040a09e506981a1613a8ed9864a8c2b4531b94261c51`。
- 内置浏览器既有页面:`http://127.0.0.1:4318/?release=1.20.0`,项目`react-source`,会话`你好`。已从头读取对话,并观察任务记录、检查结果和实际界面。
- 当前只读API导出的project、session、execution三部分分别与附件逐项序列化散列一致。当前正式服务为1.20.0/PID36552;历史`inspect_session`原工件在本案执行时记录的是1.19.0,不能以今天页面的版本反推历史运行版本。
- 当前源码基线`3f4784ea97a88a0d5cb08ae72180c6d16126dec3`。本报告涉及的续接、自动审查指令、读进度、流式校验等核心逻辑在当前源码仍存在;没有把审查记录当修复。
- 完整会话35条消息、120个运行事件、14个Run。当前“继续完成”Task含6个Run、59个工具调用;历史模型尝试和原工件由只读API补齐,导出中的最近30项工件不是全部工件。
- 结构化核对结果见[证据摘要](CASE-REACT-SOURCE-EVIDENCE.json)。原始导出、完整请求正文和原SSE保留在用户原位置及工作台原工件中,没有整份复制进Git。
本轮没有续接原任务、调用模型、重跑测试、安装依赖、打开执行生成页面、修改用户工程或升级服务。HTML只核对文件字节和静态结构,未新增动画效果验收。
## 从头发生了什么
下表使用原页面的UTC+08:00历史时间,日期为2026-11-01。
| 时间 | 实际行为与结果 |
| --- | --- |
| 00:29–01:35 | 招呼和两次“帮我想想”主要得到泛泛建议,没有先读取当前项目形成具体建议。期间两次DeepSeek连接核验成功,均明确`modelRequestsAllowed: 0`。 |
| 10:25–10:27 | 助手先自称Kiro,随后改称GPT,又对型号作未经证实的断言。这里应查询实际路由与引擎记录。 |
| 10:28:58 | 收到明确HTML需求及“无需测试”;原Task为`3447d50d`。完成一次项目读取后请求模型。 |
| 10:29:12–10:31:12 | GPT标识连接约60秒超时后,池切至Claude标识连接;后者又约60秒超时。后者原流含1,967个`reasoning_content`片段、21,860字符,没有最终正文或工具调用。不是HTML代码执行错误。 |
| 10:32:48–10:33:16 | 用户问“前面怎么回事”;工具读到原Task目标,但解释回答结束后原Task被标记完成,HTML尚未生成。 |
| 10:33:55–10:34:36 | 用户说“继续完成”,系统创建新Task `1649c60b`,目标只剩这四个字。该Run经Claude标识连接提出HTML;等待审查。 |
| 10:42:55 | HTML应用成功:新增文件,207行,SHA与当前落盘字节一致。 |
| 10:42:57 | “审查后继续”动作生成一条标作user的要求:实际执行工程检查、依据失败日志修复并交付。它不是用户原始输入。 |
| 10:43:43、10:44:56 | 两轮相同工程检查:测试2/9通过、7失败;类型和构建通过。期间读取React业务代码和原日志,没有新增修复提案。12轮后暂停。 |
| 10:45:19–10:45:34 | 同一自动要求再次追加;读文件后遭遇第一次空参数工具协议错误,整组调用未执行。 |
| 10:46:21–10:48:37 | 显式续接后再做两轮相同检查,结果相同;读取代码/日志,仍无修复,第二次到12轮上限。 |
| 10:48:49–10:49:12 | 第三次追加同一自动要求,继续读取,第二次空参数协议错误。 |
| 10:49:24–10:49:39 | 用户质问为何复杂;助手解释文件可直接打开。最后问答使Task和会话显示“已完成”,其工程核验字段仍为failed。 |
## 已确认的问题与代码原因
### 1. 原始目标没有成为稳定任务约束
原Task的目标完整含“无需测试”。故障解释作为同Task追加要求后,模型返回无工具的文字即结束Task。下一句“继续完成”由于前Task已完成,被`Store.beginRun`当新任务目标;只记录`previousTaskId`,没有继承原交付物和限制。新Task的`constraints`与`acceptance`均为空。
检查了三个真实发送请求:`581b9da3`、`149ae5c7`、`0a5783a7`,其中都已没有“鹈鹕”或“无需测试”。上下文规划保留了新Task目标和自动追加要求,却把原始用户需求封存在历史中。模型看到的任务与用户意图发生偏移。
定位:`src/server/store.mjs:458`的`beginRun`、`src/shared/contracts/execution.mjs:50`的`createTask`、`src/core/context/request-plan.mjs`的必需消息与历史选择、`src/server/runtime.mjs:354`的无工具响应完成分支。
### 2. 审查动作把通用工程要求当作user输入
`Runtime.continueReviewed`硬编码:
> 本任务的改动已经审查并应用。请继续原始目标,识别并实际执行工程检查,依据失败日志修复,完成审查和交付说明。
同一内容三次加入Task.instructions,内部来源虽为`review-action`,聊天消息和模型请求却统一标为user。界面未充分区分“用户亲口追加的目标”和“按钮自动生成的流程要求”,也没有给“已应用、直接查看结果”一条合适的结束路径。
四次检查都有真实审批,记录为approved。因此本案不是命令审批被绕过;问题是工作台先把用户引向多余检查,再让用户逐次确认。审批记录也不能证明原始需求本来要求修复整个React项目。
定位:`src/server/runtime.mjs:224`的`continueReviewed`和`:200`的消息写入;`src/client/App.tsx:372`的续接动作及`src/client/TaskPanel.tsx:86`的追加要求展示。
### 3. 同一状态反复检查,没有形成修复
四次检查的工程指纹均为`b2172131…`、源码指纹均为`844cb5a1…`,Git HEAD均为`5c34ca5c…`。四轮共执行12个脚本;失败全部是任务筛选、统计、切换等React业务逻辑。原Git提交本就封存该失败样本;当前相关src/test没有相对HEAD的修改,唯一会话提案是独立HTML,不能把这7项失败归因于动画文件。
会话累计`read_file`25次,其中业务测试7次、App4次、query/summary各3次;`read_artifact`13次。HTML生成后四个处理Run执行57次工具调用,没有新的变更提案。
现有防循环只识别连续重复工件区间或连续相同会话检查。`read_file`、`plan_checks`等会清除连续计数;新Run也重置该计数;新的check job ID又使状态签名变化。这些组合没有被识别为“同一需求、同一输入、同一失败且没有新改动”。
定位:`src/core/context/read-budget.mjs:66`、`:99`、`:113`,`src/server/store.mjs:473`和`src/server/runtime.mjs:580`。修复时也要保留新Run补读未发送页面的合理需要,不能简单禁止所有跨Run读取。
### 4. 两次协议错误是空参数兼容问题
两份原SSE的SHA、完整终结标记和重组后的参数都已核对:
| 原工件 | 结果 |
| --- | --- |
| `fb8293c8`,3,963字节,SHA `b7881116…` | `inspect_project.arguments`为`""`;同组两个`read_file`参数是有效JSON。含`finish_reason: tool_calls`和`[DONE]`。 |
| `01d2c1c4`,1,065字节,SHA `f8c631ce…` | 唯一调用`inspect_project.arguments`为`""`;同样正常终结。 |
这是接口的空参数表示与严格JSON契约不一致,原流没有证明发生截断。当前校验在派发前拒绝整组调用,保护了文件/命令边界。后续应仅针对明确支持的、无必填参数的工具及连接配置做可审计归一化;不能将任意损坏JSON猜补成可执行参数。
定位:`src/core/models/model-stream.mjs:125`、`src/core/models/protocols.mjs:15`及`src/server/provider.mjs:235`。错误提示需要区别“流未结束”和“已结束但空参数不符合契约”。
### 5. 失败响应的已报告用量漏入预算账本
| 范围 | 已入账 | 已核对但未入账 |
| --- | --- | --- |
| 当前“继续完成”Task,6个Run | 34条有效响应,共429,062 tokens | 两条协议失败原流分别报告29,806及29,623,共59,429 tokens |
| 整个导出会话,14个Run | 43条有效响应,共492,289 tokens | 同上59,429 tokens |
因此当前Task可从服务响应核对的总量为488,491,整个会话为551,718;它们都不包含两次超时尝试的未知用量,也不是费用账单。输入中的cached tokens属于服务报告口径,不能另加一遍。
新HTML提案所属Run本身为13,142 tokens;之后四个无新提案处理Run合计397,586,最后解释Run另18,334。不能把整个会话或全部当前Task用量写成“生成这一个HTML的成本”。
模型中心有47条所属尝试:43完成、1 failed、3 unknown;但运行用量的unknownRequests全为0。流式解析在工具完整性校验失败后抛错,已收到的usage没有返回成功结果;ModelHub也只在成功分支填写attempt.usage。预算因此漏掉已报告失败和无报告尝试。需要把消费核算与工具有效性分别记账,按attempt身份去重,保留unknown而非当作0。
定位:`src/core/models/model-stream.mjs`的usage接收/校验/finally、`src/core/models/model-hub.mjs:329`的成功/失败分支、`src/server/runtime.mjs`的`recordResponse`和`src/shared/contracts/execution.mjs`的累计逻辑。历史原记录不得静默重写;修复应保留来源及单独更正视图。
### 6. 模型身份与参与方式容易误读
真实请求确实用过两条连接:GPT标识33条完成,Claude标识10条完成及3条unknown,另GPT标识1条failed。它们是兼容服务声明的型号,不足以验证服务商底层权重或蒸馏状态。
当前Task六个Run的实际路由依次为Claude、GPT、Claude、GPT、Claude、GPT。池的sticky约束作用于Run;显式续接创建新Run后可轮询换成员。这是本次配置下的串行路由,不等于两个模型同时协作。
`TaskPanel`把`run.model.model`这一启动配置快照显示为“实际模型”;例如HTML提案Run快照写GPT,而原尝试全部走Claude,界面证据层级有误。应显示Run的实际attempt及切换原因,并明确配置值、服务声明、可验证范围。
两次DeepSeek记录都是`deepseek-sdk-probe`,明确允许模型请求0次;本案没有工程engine job。应向用户解释“核验过连接,本任务未由其执行”,不能要求用户换到别的软件另开对话,也不能由连接成功推断已完成多智能体协作。
定位:`src/client/TaskPanel.tsx:97`、`src/shared/contracts/execution.mjs:11`、`src/core/models/model-hub.mjs:275`的所属请求和Run级sticky。
### 7. 回复结束、文件完成与工程通过混在一个完成标记里
最后一条解释没有待审查变更,也没有配置持久任务计划,Runtime就将会话完成并同步Task。于是页面同时出现“已完成”和工程检查“需要处理”。HTML确已应用;整个React工程没有通过;最后一次问答也确已回答。三个事实需要分别表达。
不能简单要求“所有任务都必须测试全绿才完成”,否则仍会违背这个HTML任务的“无需测试”。应该根据原始目标和明确范围判断交付,明确区分解释答复、已生成/已应用文件、主动跳过的检查、范围内失败,以及尚未完成的原任务。
## 这条链路真实做成了哪些事
| 环节 | 本案证据与限制 |
| --- | --- |
| 原始数据与错误留存 | 当前导出与附件三部分一致;失败Run、原SSE、工具结果和检查日志均可追溯,没有重跑覆盖。 |
| 号池与失败保护 | 两条连接真实参与,首次超时有一次故障切换;已有流片段或协议失败没有自动重发。是否真的运行厂商所称型号仍未知。 |
| 文件审查与应用 | HTML的8,378字节与applied SHA一致,含SVG及9个SMIL动画元素,无script或外部src/href;动画视觉效果本轮未验。 |
| 工程权限与实际执行 | 四次检查都经过审批,真实退出码/测试统计保持。过度检查和无进展仍是问题。 |
| 用户工程基线 | 原有owner-staged/unstaged/untracked状态仍在;没有把这些文件当本任务交付。仅会话HTML提案已应用。 |
| 其它能力 | 本案没有页面验收、工程引擎任务、Task计划/证明、Git交付或交付报告记录;不能从本案推断它们已经验收,也没有必要为小HTML强行调用全部能力。 |
1.20的604项独立检查及固定响应工程验收仍是其原来范围内的历史证据,不能证明这次真实模型任务达到了合理效率。这个案例需要加入真实用户路径,不能只用通过数量代表产品交付能力。
## 后续先做的修复切片
以下是后续实施计划,不是本轮完成项;先完成这些针对性修复和回顾,再恢复[1.21环境方案](PLAN-1.21.md)。
| 顺序 | 实现范围 | 必须验证的真实行为 |
| --- | --- | --- |
| A 原目标与任务生命周期 | 稳定保留原始目标、交付物、显式限制和来源;诊断问答与交付状态分开,续接不能只继承“继续完成” | 超时→询问原因→继续后,发送上下文仍包含动画目标和无需测试;未完成原交付不能因解释回答被抹掉。历史记录保留。 |
| B 审查动作与完成路径 | 应用文件、继续原任务、可选工程检查分别表达;系统动作保留来源,停止自动追加通用修复指令 | 新HTML应用后可结束并得到文件位置/可选预览;没有模型请求或命令审批被无故追加;工程修复任务仍保有明确检查范围。 |
| C 协议与消费核算 | 对受支持空参数表示按实际工具schema归一化,原字节/适配规则均可追溯;独立记录成功、无效、unknown尝试的usage | 两份空参数场景可正确处理;有必填参数、坏JSON、截断仍拒绝且不派发;失败已报告用量只累计一次,超时未知用量明确展示,无自动重放。 |
| D 无进展识别 | 以Task的目标、源码/环境/命令与实际产出判定进展;同输入检查复用或说明显式重跑理由,交替读取也要识别 | 检查→读文件→换Run→同检查无法再绕满多轮;补读新Run未收到的区间仍可用;真实新改动/依赖改变后允许重新检查。 |
| E 可理解的状态与模型记录 | 分开问答、工件、检查、交付状态;Run展示实际attempt,模型/引擎参与由记录回答 | 用户能直接分辨HTML已应用、React原测试失败、DeepSeek仅连接核验、各Run实际连接;不再以启动配置冒充实际路由。 |
| F 场景回归与回顾 | 增加简单生成、授权工程修复、故障问答续接、双连接/失败用量四类端到端场景 | 先用隔离数据与可控协议验证执行边界,再单列真实模型任务及人工介入/实际用量;未跑实模就明确待验。每切片审查diff、本地Git,验收后再确定补丁发行。 |
原1.21依赖诊断、可复现环境、安装stage/activate性能待办,以及其它引擎/多模态/自我迭代路线都继续保留。当前没有开启新阶段或发布修复版本。
## 后续修复
上述原案例事实和历史用量保持不变。A–F系统缺陷已在1.20.1修复并完成独立源码、发行、安装及保留状态本地升级;见[验收](QA-1.20.1.md)、[回顾](RETROSPECTIVE-1.20.1.md)与[发行身份](task-control-release-identity.json)。本轮没有续跑原任务或重新检查原用户工程,不能据此宣称该工程原业务测试已经通过。