fix(models): accept streamed thinking signatures and publish valid plan tools
This commit is contained in:
@@ -0,0 +1,26 @@
|
||||
# 用户项目生成阻断:排查与修复
|
||||
|
||||
## 原始问题与范围
|
||||
|
||||
2026-11-06用户报告“引航演示”大量错误。基线ada7d364,正式实测1.25.4/PID36552;浏览器release查询串仍为1.25.3,不作为服务版本依据。只读封存`.qa/user-project-errors-20261106/`,原模型捕获SHA与账本一致,不读取或重存Key,不续跑原用户Task,不修改用户工程、原错误和用量。
|
||||
|
||||
项目最初为空,原inspect_project/list_files均成功;两Run共9次真实请求、75,666报告tokens,0有效提案、0文件、0检查或交付。不是已经生成的工程代码全部出错,而是生成链路在落地前失败。5次输出截断、1次Messages解析误拒、1次计划工具参数拒绝均保留。
|
||||
|
||||
## 切片一:协议与工具契约
|
||||
|
||||
- 原Claude SSE的thinking起始块没有signature,签名应由后续signature_delta传来。本地解析器要求起始就有签名,误拒合法流。现允许起始缺省并逐片组装;最终仍核对非空签名、工具参数、完整块和message_stop,未完成流不执行。
|
||||
- plan_task发布的工具schema没有列出校验器实际支持的只读工具,模型误填run_command后被拒。schema直接复用PLAN_READ_TOOLS枚举,保留实际只读门。
|
||||
|
||||
隔离真实HTTP先复现2/2失败(parser-schema-before.txt)。相关四文件62项首轮61通过,1项为新增回归调用readModelStream参数位置错误;更正后又发现测试误把stream_interrupted限定为protocol,两个首失败保留。最终精确补验3/3通过;已通过的其余相关用例未因测试修正重复运行。SSE夹具改为真实合法的无起始签名格式,HTTP完整工具轮/历史回传验证通过;额外验证分片签名、缺失/坏签名及断流拒绝。
|
||||
|
||||
阶段复核:只修改合法起始签名接受时机与模型可见schema,不改变Key/身份策略、终结校验、工具权限、旧记录或预算。还未正式升级,不把隔离HTTP当真实Claude恢复成功。
|
||||
|
||||
## 切片二:容量与长文件
|
||||
|
||||
原全局、新连接、上游目录导入均默认2048,运行时再取各层最小值;旧1.25.4恢复提示仅要求每轮一个文件,而单个index.html本身已超过额度,反复从头生成仍截断。用户明确要求正常开发不套用该实验额度。
|
||||
|
||||
本切片实施:新开发默认采用较充分的可调容量;模型容量模式消除全局重复裁低;上游明确的容量直接进入连接,未知容量保留为用户可核对的配置;手动模式和旧Run冻结额度保持。长文件须能分段组装、完整后才产生可审查提案,不把不完整JSON当文件执行。完成后补实际请求及界面验证。
|
||||
|
||||
## 结论边界
|
||||
|
||||
本工作台主路径是自有Runtime和模型API;研究或接入受控DeepSeek Harness,不等于移植Codex、Claude Code或DeepSeek Harness的完整运行时。工具/协议/容量/恢复的本地缺陷应由工作台负责。真实自主工程交付、供应商间歇稳定性、普遍重复读取、真实预留边界和Purge收益仍按原实验保留未知;测试数量和安装成功不能替代这些结果。
|
||||
@@ -1,5 +1,7 @@
|
||||
# 汇总发现
|
||||
|
||||
“引航演示”起步实证:正式实际1.25.4/原PID36552,项目d2a23086(D:/Ai-project/引航演示)只有一个失败会话be9397b1。原目标为从零开发数字人课程制作产品。原inspect_project/list_files都返回空工程,项目rg匹配无文件(exit1是空列表,不是工程构建错误)。两Run共9模型请求,4个实际工具事件:inspect/list成功、plan_task首次工具枚举校验拒绝后修正成功;0提案/检查/写入。首Run池在DeepSeek→GPT→Claude间选线,有两次length恢复后Messages初始块格式失败;用户续接后GPT连续三次length耗尽2次恢复。最后诊断output_truncated。需要核对原SSE确切结构、单文件输出长度与池路由,不能笼统归网络或认为1.25.4恢复已解决单大文件问题。只读原记录已存.qa/user-project-errors-20261106,尚未发送模型/操作Key/改用户工程。
|
||||
|
||||
AB另冻DeepSeek低强度后真实工程7请求65440tokens失败,末次SSE的DONE与length同时存在;一个完整propose_file后第二个未完成,整条未执行。不能归“始终只读”,也无证据说2048全推理。最后请求三源码完整/测试2583非末换行字符/当前检查job均在,八次read无同SHA同范围重复;原九失败/build通过、0交付,Purge前置未满足。AA+AB14次66404报告tokens+1unknown原预留2235;恢复/全原行/导出/工件/尝试核对通过。现83/99/6875/14761,4016工件,原正式1.25.3/PID36552/Provider/凭据保持。原网络间歇/预留边界/普遍重复读取与Purge收益未知继续保留。
|
||||
|
||||
AA最终真实观察:三目录2/9/5且当前型号在列,三网络诊断通过;开启低强度三条通过、关闭三条失败(DeepSeek nonce半截Loading...、Claude空响应、GPT400不支持none)。六请求771报告tokens+一未知预留2235,不能说全线路稳定或费用为0。AA固定off工程前置不满足,Node/React/Python/Purge未执行;后续AB另冻on低强度,不改AA。91原导出3926工件252原尝试/原配置精确,项目仅六所属前插+6、事件游标14320→14439;原Provider/凭据保持。162份179580919字节封存离线通过。
|
||||
|
||||
@@ -1,5 +1,13 @@
|
||||
# 统一执行进度
|
||||
|
||||
## 用户项目“引航演示”错误排查
|
||||
|
||||
- 切片一隔离相关62项首轮61通过,新增测试调用参数错误及过窄断流类别断言已修,最终精确补验3/3通过,原首失败日志均保留。回顾见docs/QA-PROJECT-GENERATION-REPAIR.md;检查diff后阶段本地提交,正式仍1.25.4,没有真实模型调用。
|
||||
|
||||
- 原9请求wire/响应SHA已核对:75,666报告tokens、5次length、0有效提案/文件/检查。合法Messages无起始signature与plan_task缺少只读enum已用真实HTTP回归复现,首轮2/2失败保存在parser-schema-before.txt;修复不放宽最终签名/流终结/工具完整性。用户明确反对正常使用2048限制,当前追踪全局、连接、目录和池的叠加裁剪,旧实验/旧Run不改。首次规划补丁因progress标题不匹配被拒,前两份记录已更新,按实际标题补齐本记录。
|
||||
|
||||
- 用户反馈真实项目大量错误,要求核对工作台与成熟代理系统的差距。起步ada7d364工作树干净,发现他轮已提交1.25.4截断恢复/AC样本;AGENTS与当前运行将重新核对,旧AA/AB不改写。沿用planning-with-files,先只读用户所属任务/原错误,不派发模型、不读取或重存Key、不修改用户工程/旧记录。
|
||||
|
||||
## AB 新工程冻结
|
||||
|
||||
- 两主封存共317份246332910字节及manifest已全部Git原字节核验,所有新驱动语法/diff通过,没有产品变化不重跑整套安装。当前状态与后续前置汇总docs/LIVE-VALIDATION-STATUS.md;本轮真实兼容与新Node验证已结束,Node未交付,React/Python/Purge明确未执行。阶段报告与原异常更正/审查收据一并本地提交,未推送。
|
||||
|
||||
@@ -22,9 +22,13 @@ export function messagesStream() {
|
||||
const block = event.content_block;
|
||||
if (!object(block) || !['text', 'tool_use', 'thinking', 'redacted_thinking'].includes(block.type)) fail('未接入的内容块类型。');
|
||||
if (block.type === 'text' && typeof block.text !== 'string' || block.type === 'tool_use' && (!object(block.input) || typeof block.id !== 'string' || !block.id || typeof block.name !== 'string' || !block.name)
|
||||
|| block.type === 'thinking' && (typeof block.thinking !== 'string' || typeof block.signature !== 'string') || block.type === 'redacted_thinking' && typeof block.data !== 'string') fail('初始内容块格式无效。');
|
||||
|| block.type === 'thinking' && (typeof block.thinking !== 'string' || block.signature !== undefined && typeof block.signature !== 'string') || block.type === 'redacted_thinking' && typeof block.data !== 'string') fail('初始内容块格式无效。');
|
||||
if (block.type === 'tool_use' && (++toolCount > 12 || blocks.some(item => item.block.id === block.id))) fail('工具数量超限或身份重复。');
|
||||
blocks.push({ block: structuredClone(block), json: '', jsonSeen: false, closed: false }); active = event.index;
|
||||
// Thinking signatures normally arrive in a later signature_delta.
|
||||
// Final protocol normalization still requires a complete signature.
|
||||
const initial = structuredClone(block);
|
||||
if (initial.type === 'thinking') initial.signature ??= '';
|
||||
blocks.push({ block: initial, json: '', jsonSeen: false, closed: false }); active = event.index;
|
||||
if (block.type === 'text') text += block.text;
|
||||
} else if (event.type === 'content_block_delta') {
|
||||
if (active === null || event.index !== active || deltaSeen || !object(event.delta)) fail('内容片段缺少所属未完成块。');
|
||||
|
||||
@@ -1,10 +1,12 @@
|
||||
import { PLAN_READ_TOOLS } from './task-plans.mjs';
|
||||
|
||||
export const taskPlanToolDefinitions = [
|
||||
{ type: 'function', function: { name: 'plan_task', description: '为当前复杂任务保存1–12步有依赖的计划。每步固定通过条件及实际证据类别,规划不执行操作。expected_revision首次为0;以后保留全部原步骤并追加,不能删改条件掩盖失败。原用户要求或计划变化后重新封存并核验仍有效的原证据,不重跑已完成工具。', parameters: {
|
||||
type: 'object', additionalProperties: false, required: ['expected_revision', 'steps'], properties: { expected_revision: { type: 'integer', minimum: 0 }, steps: { type: 'array', minItems: 1, maxItems: 12, items: {
|
||||
type: 'object', additionalProperties: false, required: ['key', 'title', 'criterion', 'kind'], properties: {
|
||||
key: { type: 'string', pattern: '^[a-z][a-z0-9_-]{0,39}$' }, title: { type: 'string', maxLength: 100 }, criterion: { type: 'string', maxLength: 300 },
|
||||
kind: { type: 'string', enum: ['analysis', 'changes', 'results', 'checks', 'browser'] }, depends_on: { type: 'array', items: { type: 'string' }, maxItems: 12 },
|
||||
tools: { type: 'array', description: 'analysis必填,只读工具名称,例如inspect_project/read_file/query_code。', items: { type: 'string' } },
|
||||
tools: { type: 'array', description: 'analysis必填,仅限枚举中的只读工具;运行命令不属于读取证据。', items: { type: 'string', enum: PLAN_READ_TOOLS }, minItems: 1, maxItems: PLAN_READ_TOOLS.length, uniqueItems: true },
|
||||
paths: { type: 'array', description: 'changes/results必填,项目相对文件路径。changes仅核验本Task实际应用;results核验verify_existing_files的当前文件成果。', items: { type: 'string' }, maxItems: 32 },
|
||||
checks: { type: 'array', description: 'checks必填,仅核验当前源码的最新通过结果,名称如test/build/python:test。基线失败仍保留在检查日志,不设为checks计划步骤;改动后的通过验收再设此步骤。', items: { type: 'string' }, maxItems: 6 },
|
||||
viewport_width: { type: 'integer', description: 'browser必填,固定桌面/手机视口宽度。', minimum: 320, maximum: 1440 },
|
||||
|
||||
@@ -1,5 +1,14 @@
|
||||
# Agent Workbench:核心代理能力研究与产品计划
|
||||
|
||||
## 当前:用户项目“引航演示”真实错误排查
|
||||
|
||||
2026-11-06用户要求查看已加入项目的大量错误,解释与Codex/Claude Code/DeepSeek Harness的差距,并处理能确认的工作台问题。接续干净ada7d364,已有他轮1.25.4修复/AC样本;实际服务版本与来源重新核对,不把浏览器旧release查询串当当前版本。不读取/复制/解密/重存Key、不自动续跑用户任务,不改用户工程原源码/测试/暂存或历史错误。
|
||||
|
||||
1. [in_progress] 只读定位项目/全部所属会话、原用户目标/真实工具/模型错误及当前运行身份,保存可核对证据。
|
||||
2. [pending] 分类工作台缺陷、模型/供应商和工程环境;用原输入做隔离重现,确定最小修复。
|
||||
3. [pending] 修复并验证相关路径,保留原失败与差异;如产品变更按现有独立发行纪律交付。
|
||||
4. [pending] 汇总真实原因、已修与仍未知、采用技术与实际接入范围,阶段回顾并本地提交,不推送。
|
||||
|
||||
## 当前:AB 已验证低强度模式的新工程验证
|
||||
|
||||
AA已封存提交6726ce14,原关闭门不满足且不续跑。AB使用同revision3/credential1的DeepSeek开启低强度,新冻结/新单请求/新Node;AA+AB合计100请求700000tokens,计入AA未知预留2235,不扩大总额。
|
||||
|
||||
@@ -29,7 +29,7 @@ function stream(content = [{ type: 'text', text: '完成。' }], extra = {}) {
|
||||
const result = [event('message_start', { message: start }), event('ping')];
|
||||
content.forEach((block, index) => {
|
||||
const initial = block.type === 'tool_use' ? { ...block, input: {} } : block.type === 'text' ? { ...block, text: '' }
|
||||
: block.type === 'thinking' ? { ...block, thinking: '', signature: '' } : block;
|
||||
: block.type === 'thinking' ? { type: 'thinking', thinking: '' } : block;
|
||||
result.push(event('content_block_start', { index, content_block: initial }));
|
||||
if (block.type === 'tool_use') {
|
||||
const json = JSON.stringify(block.input), at = Math.floor(json.length / 2);
|
||||
@@ -193,6 +193,22 @@ test('native JSON rejects incomplete stops, duplicate tools and hosted content',
|
||||
}
|
||||
});
|
||||
|
||||
test('native SSE assembles late signature fragments and still rejects missing or malformed signatures before dispatch', async () => {
|
||||
const cfg = { ...config('https://example.test'), streaming: true };
|
||||
const thinking = { type: 'thinking', thinking: 'opaque fixture only', signature: 'owned-signature' };
|
||||
const original = stream([thinking, tool]);
|
||||
const signatureEvent = event('content_block_delta', { index: 0, delta: { type: 'signature_delta', signature: thinking.signature } });
|
||||
const split = original.replace(signatureEvent, ['owned-', 'signature'].map(signature => event('content_block_delta', { index: 0, delta: { type: 'signature_delta', signature } })).join(''));
|
||||
const read = raw => readModelStream(new Response(raw, { headers: { 'content-type': 'text/event-stream' } }), cfg, undefined, undefined, [definition]);
|
||||
const result = await read(split);
|
||||
assert.deepEqual(result.value.content[0], thinking);
|
||||
assert.equal(result.value.content[1].name, 'list_files');
|
||||
for (const invalid of [original.replace(signatureEvent, ''), original.replace('"type":"thinking","thinking":""', '"type":"thinking","thinking":"","signature":42'),
|
||||
original.replace(signatureEvent, event('content_block_delta', { index: 0, delta: { type: 'signature_delta', signature: null } })), original.replace(event('message_stop'), '')]) {
|
||||
await assert.rejects(read(invalid), cause => ['protocol', 'stream_interrupted'].includes(cause.diagnostic?.kind));
|
||||
}
|
||||
});
|
||||
|
||||
test('Messages rejects empty, whitespace and thinking-only answers without rejecting valid text or tool calls', () => {
|
||||
for (const content of [[], [{ type: 'text', text: '' }], [{ type: 'text', text: ' \n ' }],
|
||||
[{ type: 'thinking', thinking: 'opaque fixture', signature: 'owned-signature' }], [{ type: 'redacted_thinking', data: 'owned-opaque' }]]) {
|
||||
|
||||
@@ -8,13 +8,21 @@ import { fixture, call, assertToolPairs } from './helpers.mjs';
|
||||
import { readingStep, checksStep, beginPlanTask, completeRead } from './fixtures/task-plan-fixture.mjs';
|
||||
import { createDeliveryProject, applyDeliveryFix, deliveryGit } from './fixtures/delivery-project.mjs';
|
||||
import { createBrowserProject, browserSteps } from './fixtures/browser-project.mjs';
|
||||
import { taskPlanInput } from '../src/shared/contracts/task-plans.mjs';
|
||||
import { taskPlanInput, PLAN_READ_TOOLS } from '../src/shared/contracts/task-plans.mjs';
|
||||
import { taskPlanToolDefinitions } from '../src/shared/contracts/task-plan-tools.mjs';
|
||||
import { TaskPlanManager } from '../src/core/tasks/task-plan-manager.mjs';
|
||||
import { Store } from '../src/server/store.mjs';
|
||||
import { Provider } from '../src/server/provider.mjs';
|
||||
import { Runtime } from '../src/server/runtime.mjs';
|
||||
import { compactToolFeedback } from '../src/core/context/tool-feedback.mjs';
|
||||
|
||||
test('published plan_task analysis tools match the executable read-only contract', () => {
|
||||
const step = taskPlanToolDefinitions.find(tool => tool.function.name === 'plan_task').function.parameters.properties.steps.items;
|
||||
assert.deepEqual(step.properties.tools.items.enum, PLAN_READ_TOOLS);
|
||||
assert.ok(!step.properties.tools.items.enum.includes('run_command'));
|
||||
assert.throws(() => taskPlanInput({ expected_revision: 0, steps: [{ key: 'read', title: 'Inspect', criterion: 'Read evidence', kind: 'analysis', tools: ['run_command'] }] }), /只读工具/);
|
||||
});
|
||||
|
||||
test('a real escaped long-file tool message keeps its proof identity within a tight request budget', async t => {
|
||||
const f = fixture(t); beginPlanTask(f); await new TaskPlanManager(f.store).plan(f.session, { expected_revision: 0, steps: [readingStep()] });
|
||||
fs.writeFileSync(path.join(f.projectRoot, 'long.mjs'), '"中文😀\\\\\n'.repeat(600));
|
||||
|
||||
Reference in New Issue
Block a user