16 KiB
react-source 实际会话审查
状态:原案例审查完成;A–F系统缺陷已在1.20.1修复、独立验收并保留状态本地升级。后文保留原审查时的事实和判断,修复结果见文末。1.21工程依赖方案继续保留。
结论
用户要求“创建一个HTML,内容是SVG绘制一个鹈鹕骑自行车的2D动画,无需测试”。工作台确实生成并应用了pelican-bike.html,但随后把这个独立文件任务引向了无关的React工程修复。根因包括原目标在故障问答后脱离当前Task、审查后继续动作自动追加工程检查要求、上下文裁剪丢失原需求,以及无法识别跨步骤的无进展循环。
两次后续协议失败有更具体的原因:Claude兼容接口的完整SSE给无参数inspect_project返回空字符串参数,严格JSON校验拒绝了整组调用。拒绝未校验调用这一保护有效;兼容适配、错误说明及失败响应用量核算仍有缺口。这次不能据模型自称“Kiro”或接口型号推断底层模型是否缩水。
来源与观察范围
- 用户附件:
C:/Users/wangy/Downloads/agent-workbench-session-f8a5a714-183d-4d6c-af27-ed56c60225b2.json,981,924字节,SHA-2568ad76d212727e7d849a9040a09e506981a1613a8ed9864a8c2b4531b94261c51。 - 内置浏览器既有页面:
http://127.0.0.1:4318/?release=1.20.0,项目react-source,会话你好。已从头读取对话,并观察任务记录、检查结果和实际界面。 - 当前只读API导出的project、session、execution三部分分别与附件逐项序列化散列一致。当前正式服务为1.20.0/PID36552;历史
inspect_session原工件在本案执行时记录的是1.19.0,不能以今天页面的版本反推历史运行版本。 - 当前源码基线
3f4784ea97a88a0d5cb08ae72180c6d16126dec3。本报告涉及的续接、自动审查指令、读进度、流式校验等核心逻辑在当前源码仍存在;没有把审查记录当修复。 - 完整会话35条消息、120个运行事件、14个Run。当前“继续完成”Task含6个Run、59个工具调用;历史模型尝试和原工件由只读API补齐,导出中的最近30项工件不是全部工件。
- 结构化核对结果见证据摘要。原始导出、完整请求正文和原SSE保留在用户原位置及工作台原工件中,没有整份复制进Git。
本轮没有续接原任务、调用模型、重跑测试、安装依赖、打开执行生成页面、修改用户工程或升级服务。HTML只核对文件字节和静态结构,未新增动画效果验收。
从头发生了什么
下表使用原页面的UTC+08:00历史时间,日期为2026-11-01。
| 时间 | 实际行为与结果 |
|---|---|
| 00:29–01:35 | 招呼和两次“帮我想想”主要得到泛泛建议,没有先读取当前项目形成具体建议。期间两次DeepSeek连接核验成功,均明确modelRequestsAllowed: 0。 |
| 10:25–10:27 | 助手先自称Kiro,随后改称GPT,又对型号作未经证实的断言。这里应查询实际路由与引擎记录。 |
| 10:28:58 | 收到明确HTML需求及“无需测试”;原Task为3447d50d。完成一次项目读取后请求模型。 |
| 10:29:12–10:31:12 | GPT标识连接约60秒超时后,池切至Claude标识连接;后者又约60秒超时。后者原流含1,967个reasoning_content片段、21,860字符,没有最终正文或工具调用。不是HTML代码执行错误。 |
| 10:32:48–10:33:16 | 用户问“前面怎么回事”;工具读到原Task目标,但解释回答结束后原Task被标记完成,HTML尚未生成。 |
| 10:33:55–10:34:36 | 用户说“继续完成”,系统创建新Task 1649c60b,目标只剩这四个字。该Run经Claude标识连接提出HTML;等待审查。 |
| 10:42:55 | HTML应用成功:新增文件,207行,SHA与当前落盘字节一致。 |
| 10:42:57 | “审查后继续”动作生成一条标作user的要求:实际执行工程检查、依据失败日志修复并交付。它不是用户原始输入。 |
| 10:43:43、10:44:56 | 两轮相同工程检查:测试2/9通过、7失败;类型和构建通过。期间读取React业务代码和原日志,没有新增修复提案。12轮后暂停。 |
| 10:45:19–10:45:34 | 同一自动要求再次追加;读文件后遭遇第一次空参数工具协议错误,整组调用未执行。 |
| 10:46:21–10:48:37 | 显式续接后再做两轮相同检查,结果相同;读取代码/日志,仍无修复,第二次到12轮上限。 |
| 10:48:49–10:49:12 | 第三次追加同一自动要求,继续读取,第二次空参数协议错误。 |
| 10:49:24–10:49:39 | 用户质问为何复杂;助手解释文件可直接打开。最后问答使Task和会话显示“已完成”,其工程核验字段仍为failed。 |
已确认的问题与代码原因
1. 原始目标没有成为稳定任务约束
原Task的目标完整含“无需测试”。故障解释作为同Task追加要求后,模型返回无工具的文字即结束Task。下一句“继续完成”由于前Task已完成,被Store.beginRun当新任务目标;只记录previousTaskId,没有继承原交付物和限制。新Task的constraints与acceptance均为空。
检查了三个真实发送请求:581b9da3、149ae5c7、0a5783a7,其中都已没有“鹈鹕”或“无需测试”。上下文规划保留了新Task目标和自动追加要求,却把原始用户需求封存在历史中。模型看到的任务与用户意图发生偏移。
定位:src/server/store.mjs:458的beginRun、src/shared/contracts/execution.mjs:50的createTask、src/core/context/request-plan.mjs的必需消息与历史选择、src/server/runtime.mjs:354的无工具响应完成分支。
2. 审查动作把通用工程要求当作user输入
Runtime.continueReviewed硬编码:
本任务的改动已经审查并应用。请继续原始目标,识别并实际执行工程检查,依据失败日志修复,完成审查和交付说明。
同一内容三次加入Task.instructions,内部来源虽为review-action,聊天消息和模型请求却统一标为user。界面未充分区分“用户亲口追加的目标”和“按钮自动生成的流程要求”,也没有给“已应用、直接查看结果”一条合适的结束路径。
四次检查都有真实审批,记录为approved。因此本案不是命令审批被绕过;问题是工作台先把用户引向多余检查,再让用户逐次确认。审批记录也不能证明原始需求本来要求修复整个React项目。
定位:src/server/runtime.mjs:224的continueReviewed和:200的消息写入;src/client/App.tsx:372的续接动作及src/client/TaskPanel.tsx:86的追加要求展示。
3. 同一状态反复检查,没有形成修复
四次检查的工程指纹均为b2172131…、源码指纹均为844cb5a1…,Git HEAD均为5c34ca5c…。四轮共执行12个脚本;失败全部是任务筛选、统计、切换等React业务逻辑。原Git提交本就封存该失败样本;当前相关src/test没有相对HEAD的修改,唯一会话提案是独立HTML,不能把这7项失败归因于动画文件。
会话累计read_file25次,其中业务测试7次、App4次、query/summary各3次;read_artifact13次。HTML生成后四个处理Run执行57次工具调用,没有新的变更提案。
现有防循环只识别连续重复工件区间或连续相同会话检查。read_file、plan_checks等会清除连续计数;新Run也重置该计数;新的check job ID又使状态签名变化。这些组合没有被识别为“同一需求、同一输入、同一失败且没有新改动”。
定位:src/core/context/read-budget.mjs:66、:99、:113,src/server/store.mjs:473和src/server/runtime.mjs:580。修复时也要保留新Run补读未发送页面的合理需要,不能简单禁止所有跨Run读取。
4. 两次协议错误是空参数兼容问题
两份原SSE的SHA、完整终结标记和重组后的参数都已核对:
| 原工件 | 结果 |
|---|---|
fb8293c8,3,963字节,SHA b7881116… |
inspect_project.arguments为"";同组两个read_file参数是有效JSON。含finish_reason: tool_calls和[DONE]。 |
01d2c1c4,1,065字节,SHA f8c631ce… |
唯一调用inspect_project.arguments为"";同样正常终结。 |
这是接口的空参数表示与严格JSON契约不一致,原流没有证明发生截断。当前校验在派发前拒绝整组调用,保护了文件/命令边界。后续应仅针对明确支持的、无必填参数的工具及连接配置做可审计归一化;不能将任意损坏JSON猜补成可执行参数。
定位:src/core/models/model-stream.mjs:125、src/core/models/protocols.mjs:15及src/server/provider.mjs:235。错误提示需要区别“流未结束”和“已结束但空参数不符合契约”。
5. 失败响应的已报告用量漏入预算账本
| 范围 | 已入账 | 已核对但未入账 |
|---|---|---|
| 当前“继续完成”Task,6个Run | 34条有效响应,共429,062 tokens | 两条协议失败原流分别报告29,806及29,623,共59,429 tokens |
| 整个导出会话,14个Run | 43条有效响应,共492,289 tokens | 同上59,429 tokens |
因此当前Task可从服务响应核对的总量为488,491,整个会话为551,718;它们都不包含两次超时尝试的未知用量,也不是费用账单。输入中的cached tokens属于服务报告口径,不能另加一遍。
新HTML提案所属Run本身为13,142 tokens;之后四个无新提案处理Run合计397,586,最后解释Run另18,334。不能把整个会话或全部当前Task用量写成“生成这一个HTML的成本”。
模型中心有47条所属尝试:43完成、1 failed、3 unknown;但运行用量的unknownRequests全为0。流式解析在工具完整性校验失败后抛错,已收到的usage没有返回成功结果;ModelHub也只在成功分支填写attempt.usage。预算因此漏掉已报告失败和无报告尝试。需要把消费核算与工具有效性分别记账,按attempt身份去重,保留unknown而非当作0。
定位:src/core/models/model-stream.mjs的usage接收/校验/finally、src/core/models/model-hub.mjs:329的成功/失败分支、src/server/runtime.mjs的recordResponse和src/shared/contracts/execution.mjs的累计逻辑。历史原记录不得静默重写;修复应保留来源及单独更正视图。
6. 模型身份与参与方式容易误读
真实请求确实用过两条连接:GPT标识33条完成,Claude标识10条完成及3条unknown,另GPT标识1条failed。它们是兼容服务声明的型号,不足以验证服务商底层权重或蒸馏状态。
当前Task六个Run的实际路由依次为Claude、GPT、Claude、GPT、Claude、GPT。池的sticky约束作用于Run;显式续接创建新Run后可轮询换成员。这是本次配置下的串行路由,不等于两个模型同时协作。
TaskPanel把run.model.model这一启动配置快照显示为“实际模型”;例如HTML提案Run快照写GPT,而原尝试全部走Claude,界面证据层级有误。应显示Run的实际attempt及切换原因,并明确配置值、服务声明、可验证范围。
两次DeepSeek记录都是deepseek-sdk-probe,明确允许模型请求0次;本案没有工程engine job。应向用户解释“核验过连接,本任务未由其执行”,不能要求用户换到别的软件另开对话,也不能由连接成功推断已完成多智能体协作。
定位:src/client/TaskPanel.tsx:97、src/shared/contracts/execution.mjs:11、src/core/models/model-hub.mjs:275的所属请求和Run级sticky。
7. 回复结束、文件完成与工程通过混在一个完成标记里
最后一条解释没有待审查变更,也没有配置持久任务计划,Runtime就将会话完成并同步Task。于是页面同时出现“已完成”和工程检查“需要处理”。HTML确已应用;整个React工程没有通过;最后一次问答也确已回答。三个事实需要分别表达。
不能简单要求“所有任务都必须测试全绿才完成”,否则仍会违背这个HTML任务的“无需测试”。应该根据原始目标和明确范围判断交付,明确区分解释答复、已生成/已应用文件、主动跳过的检查、范围内失败,以及尚未完成的原任务。
这条链路真实做成了哪些事
| 环节 | 本案证据与限制 |
|---|---|
| 原始数据与错误留存 | 当前导出与附件三部分一致;失败Run、原SSE、工具结果和检查日志均可追溯,没有重跑覆盖。 |
| 号池与失败保护 | 两条连接真实参与,首次超时有一次故障切换;已有流片段或协议失败没有自动重发。是否真的运行厂商所称型号仍未知。 |
| 文件审查与应用 | HTML的8,378字节与applied SHA一致,含SVG及9个SMIL动画元素,无script或外部src/href;动画视觉效果本轮未验。 |
| 工程权限与实际执行 | 四次检查都经过审批,真实退出码/测试统计保持。过度检查和无进展仍是问题。 |
| 用户工程基线 | 原有owner-staged/unstaged/untracked状态仍在;没有把这些文件当本任务交付。仅会话HTML提案已应用。 |
| 其它能力 | 本案没有页面验收、工程引擎任务、Task计划/证明、Git交付或交付报告记录;不能从本案推断它们已经验收,也没有必要为小HTML强行调用全部能力。 |
1.20的604项独立检查及固定响应工程验收仍是其原来范围内的历史证据,不能证明这次真实模型任务达到了合理效率。这个案例需要加入真实用户路径,不能只用通过数量代表产品交付能力。
后续先做的修复切片
以下是后续实施计划,不是本轮完成项;先完成这些针对性修复和回顾,再恢复1.21环境方案。
| 顺序 | 实现范围 | 必须验证的真实行为 |
|---|---|---|
| A 原目标与任务生命周期 | 稳定保留原始目标、交付物、显式限制和来源;诊断问答与交付状态分开,续接不能只继承“继续完成” | 超时→询问原因→继续后,发送上下文仍包含动画目标和无需测试;未完成原交付不能因解释回答被抹掉。历史记录保留。 |
| B 审查动作与完成路径 | 应用文件、继续原任务、可选工程检查分别表达;系统动作保留来源,停止自动追加通用修复指令 | 新HTML应用后可结束并得到文件位置/可选预览;没有模型请求或命令审批被无故追加;工程修复任务仍保有明确检查范围。 |
| C 协议与消费核算 | 对受支持空参数表示按实际工具schema归一化,原字节/适配规则均可追溯;独立记录成功、无效、unknown尝试的usage | 两份空参数场景可正确处理;有必填参数、坏JSON、截断仍拒绝且不派发;失败已报告用量只累计一次,超时未知用量明确展示,无自动重放。 |
| D 无进展识别 | 以Task的目标、源码/环境/命令与实际产出判定进展;同输入检查复用或说明显式重跑理由,交替读取也要识别 | 检查→读文件→换Run→同检查无法再绕满多轮;补读新Run未收到的区间仍可用;真实新改动/依赖改变后允许重新检查。 |
| E 可理解的状态与模型记录 | 分开问答、工件、检查、交付状态;Run展示实际attempt,模型/引擎参与由记录回答 | 用户能直接分辨HTML已应用、React原测试失败、DeepSeek仅连接核验、各Run实际连接;不再以启动配置冒充实际路由。 |
| F 场景回归与回顾 | 增加简单生成、授权工程修复、故障问答续接、双连接/失败用量四类端到端场景 | 先用隔离数据与可控协议验证执行边界,再单列真实模型任务及人工介入/实际用量;未跑实模就明确待验。每切片审查diff、本地Git,验收后再确定补丁发行。 |
原1.21依赖诊断、可复现环境、安装stage/activate性能待办,以及其它引擎/多模态/自我迭代路线都继续保留。当前没有开启新阶段或发布修复版本。
后续修复
上述原案例事实和历史用量保持不变。A–F系统缺陷已在1.20.1修复并完成独立源码、发行、安装及保留状态本地升级;见验收、回顾与发行身份。本轮没有续跑原任务或重新检查原用户工程,不能据此宣称该工程原业务测试已经通过。