diff --git a/docs/QA-PROJECT-GENERATION-REPAIR.md b/docs/QA-PROJECT-GENERATION-REPAIR.md new file mode 100644 index 00000000..a384087e --- /dev/null +++ b/docs/QA-PROJECT-GENERATION-REPAIR.md @@ -0,0 +1,26 @@ +# 用户项目生成阻断:排查与修复 + +## 原始问题与范围 + +2026-11-06用户报告“引航演示”大量错误。基线ada7d364,正式实测1.25.4/PID36552;浏览器release查询串仍为1.25.3,不作为服务版本依据。只读封存`.qa/user-project-errors-20261106/`,原模型捕获SHA与账本一致,不读取或重存Key,不续跑原用户Task,不修改用户工程、原错误和用量。 + +项目最初为空,原inspect_project/list_files均成功;两Run共9次真实请求、75,666报告tokens,0有效提案、0文件、0检查或交付。不是已经生成的工程代码全部出错,而是生成链路在落地前失败。5次输出截断、1次Messages解析误拒、1次计划工具参数拒绝均保留。 + +## 切片一:协议与工具契约 + +- 原Claude SSE的thinking起始块没有signature,签名应由后续signature_delta传来。本地解析器要求起始就有签名,误拒合法流。现允许起始缺省并逐片组装;最终仍核对非空签名、工具参数、完整块和message_stop,未完成流不执行。 +- plan_task发布的工具schema没有列出校验器实际支持的只读工具,模型误填run_command后被拒。schema直接复用PLAN_READ_TOOLS枚举,保留实际只读门。 + +隔离真实HTTP先复现2/2失败(parser-schema-before.txt)。相关四文件62项首轮61通过,1项为新增回归调用readModelStream参数位置错误;更正后又发现测试误把stream_interrupted限定为protocol,两个首失败保留。最终精确补验3/3通过;已通过的其余相关用例未因测试修正重复运行。SSE夹具改为真实合法的无起始签名格式,HTTP完整工具轮/历史回传验证通过;额外验证分片签名、缺失/坏签名及断流拒绝。 + +阶段复核:只修改合法起始签名接受时机与模型可见schema,不改变Key/身份策略、终结校验、工具权限、旧记录或预算。还未正式升级,不把隔离HTTP当真实Claude恢复成功。 + +## 切片二:容量与长文件 + +原全局、新连接、上游目录导入均默认2048,运行时再取各层最小值;旧1.25.4恢复提示仅要求每轮一个文件,而单个index.html本身已超过额度,反复从头生成仍截断。用户明确要求正常开发不套用该实验额度。 + +本切片实施:新开发默认采用较充分的可调容量;模型容量模式消除全局重复裁低;上游明确的容量直接进入连接,未知容量保留为用户可核对的配置;手动模式和旧Run冻结额度保持。长文件须能分段组装、完整后才产生可审查提案,不把不完整JSON当文件执行。完成后补实际请求及界面验证。 + +## 结论边界 + +本工作台主路径是自有Runtime和模型API;研究或接入受控DeepSeek Harness,不等于移植Codex、Claude Code或DeepSeek Harness的完整运行时。工具/协议/容量/恢复的本地缺陷应由工作台负责。真实自主工程交付、供应商间歇稳定性、普遍重复读取、真实预留边界和Purge收益仍按原实验保留未知;测试数量和安装成功不能替代这些结果。 diff --git a/findings.md b/findings.md index 738dc542..4caae1b4 100644 --- a/findings.md +++ b/findings.md @@ -1,5 +1,7 @@ # 汇总发现 +“引航演示”起步实证:正式实际1.25.4/原PID36552,项目d2a23086(D:/Ai-project/引航演示)只有一个失败会话be9397b1。原目标为从零开发数字人课程制作产品。原inspect_project/list_files都返回空工程,项目rg匹配无文件(exit1是空列表,不是工程构建错误)。两Run共9模型请求,4个实际工具事件:inspect/list成功、plan_task首次工具枚举校验拒绝后修正成功;0提案/检查/写入。首Run池在DeepSeek→GPT→Claude间选线,有两次length恢复后Messages初始块格式失败;用户续接后GPT连续三次length耗尽2次恢复。最后诊断output_truncated。需要核对原SSE确切结构、单文件输出长度与池路由,不能笼统归网络或认为1.25.4恢复已解决单大文件问题。只读原记录已存.qa/user-project-errors-20261106,尚未发送模型/操作Key/改用户工程。 + AB另冻DeepSeek低强度后真实工程7请求65440tokens失败,末次SSE的DONE与length同时存在;一个完整propose_file后第二个未完成,整条未执行。不能归“始终只读”,也无证据说2048全推理。最后请求三源码完整/测试2583非末换行字符/当前检查job均在,八次read无同SHA同范围重复;原九失败/build通过、0交付,Purge前置未满足。AA+AB14次66404报告tokens+1unknown原预留2235;恢复/全原行/导出/工件/尝试核对通过。现83/99/6875/14761,4016工件,原正式1.25.3/PID36552/Provider/凭据保持。原网络间歇/预留边界/普遍重复读取与Purge收益未知继续保留。 AA最终真实观察:三目录2/9/5且当前型号在列,三网络诊断通过;开启低强度三条通过、关闭三条失败(DeepSeek nonce半截Loading...、Claude空响应、GPT400不支持none)。六请求771报告tokens+一未知预留2235,不能说全线路稳定或费用为0。AA固定off工程前置不满足,Node/React/Python/Purge未执行;后续AB另冻on低强度,不改AA。91原导出3926工件252原尝试/原配置精确,项目仅六所属前插+6、事件游标14320→14439;原Provider/凭据保持。162份179580919字节封存离线通过。 diff --git a/progress.md b/progress.md index 1caf8e17..21000ae2 100644 --- a/progress.md +++ b/progress.md @@ -1,5 +1,13 @@ # 统一执行进度 +## 用户项目“引航演示”错误排查 + +- 切片一隔离相关62项首轮61通过,新增测试调用参数错误及过窄断流类别断言已修,最终精确补验3/3通过,原首失败日志均保留。回顾见docs/QA-PROJECT-GENERATION-REPAIR.md;检查diff后阶段本地提交,正式仍1.25.4,没有真实模型调用。 + +- 原9请求wire/响应SHA已核对:75,666报告tokens、5次length、0有效提案/文件/检查。合法Messages无起始signature与plan_task缺少只读enum已用真实HTTP回归复现,首轮2/2失败保存在parser-schema-before.txt;修复不放宽最终签名/流终结/工具完整性。用户明确反对正常使用2048限制,当前追踪全局、连接、目录和池的叠加裁剪,旧实验/旧Run不改。首次规划补丁因progress标题不匹配被拒,前两份记录已更新,按实际标题补齐本记录。 + +- 用户反馈真实项目大量错误,要求核对工作台与成熟代理系统的差距。起步ada7d364工作树干净,发现他轮已提交1.25.4截断恢复/AC样本;AGENTS与当前运行将重新核对,旧AA/AB不改写。沿用planning-with-files,先只读用户所属任务/原错误,不派发模型、不读取或重存Key、不修改用户工程/旧记录。 + ## AB 新工程冻结 - 两主封存共317份246332910字节及manifest已全部Git原字节核验,所有新驱动语法/diff通过,没有产品变化不重跑整套安装。当前状态与后续前置汇总docs/LIVE-VALIDATION-STATUS.md;本轮真实兼容与新Node验证已结束,Node未交付,React/Python/Purge明确未执行。阶段报告与原异常更正/审查收据一并本地提交,未推送。 diff --git a/src/core/models/messages-stream.mjs b/src/core/models/messages-stream.mjs index c3beb572..a2714231 100644 --- a/src/core/models/messages-stream.mjs +++ b/src/core/models/messages-stream.mjs @@ -22,9 +22,13 @@ export function messagesStream() { const block = event.content_block; if (!object(block) || !['text', 'tool_use', 'thinking', 'redacted_thinking'].includes(block.type)) fail('未接入的内容块类型。'); if (block.type === 'text' && typeof block.text !== 'string' || block.type === 'tool_use' && (!object(block.input) || typeof block.id !== 'string' || !block.id || typeof block.name !== 'string' || !block.name) - || block.type === 'thinking' && (typeof block.thinking !== 'string' || typeof block.signature !== 'string') || block.type === 'redacted_thinking' && typeof block.data !== 'string') fail('初始内容块格式无效。'); + || block.type === 'thinking' && (typeof block.thinking !== 'string' || block.signature !== undefined && typeof block.signature !== 'string') || block.type === 'redacted_thinking' && typeof block.data !== 'string') fail('初始内容块格式无效。'); if (block.type === 'tool_use' && (++toolCount > 12 || blocks.some(item => item.block.id === block.id))) fail('工具数量超限或身份重复。'); - blocks.push({ block: structuredClone(block), json: '', jsonSeen: false, closed: false }); active = event.index; + // Thinking signatures normally arrive in a later signature_delta. + // Final protocol normalization still requires a complete signature. + const initial = structuredClone(block); + if (initial.type === 'thinking') initial.signature ??= ''; + blocks.push({ block: initial, json: '', jsonSeen: false, closed: false }); active = event.index; if (block.type === 'text') text += block.text; } else if (event.type === 'content_block_delta') { if (active === null || event.index !== active || deltaSeen || !object(event.delta)) fail('内容片段缺少所属未完成块。'); diff --git a/src/shared/contracts/task-plan-tools.mjs b/src/shared/contracts/task-plan-tools.mjs index 3dc3196a..4b5303ac 100644 --- a/src/shared/contracts/task-plan-tools.mjs +++ b/src/shared/contracts/task-plan-tools.mjs @@ -1,10 +1,12 @@ +import { PLAN_READ_TOOLS } from './task-plans.mjs'; + export const taskPlanToolDefinitions = [ { type: 'function', function: { name: 'plan_task', description: '为当前复杂任务保存1–12步有依赖的计划。每步固定通过条件及实际证据类别,规划不执行操作。expected_revision首次为0;以后保留全部原步骤并追加,不能删改条件掩盖失败。原用户要求或计划变化后重新封存并核验仍有效的原证据,不重跑已完成工具。', parameters: { type: 'object', additionalProperties: false, required: ['expected_revision', 'steps'], properties: { expected_revision: { type: 'integer', minimum: 0 }, steps: { type: 'array', minItems: 1, maxItems: 12, items: { type: 'object', additionalProperties: false, required: ['key', 'title', 'criterion', 'kind'], properties: { key: { type: 'string', pattern: '^[a-z][a-z0-9_-]{0,39}$' }, title: { type: 'string', maxLength: 100 }, criterion: { type: 'string', maxLength: 300 }, kind: { type: 'string', enum: ['analysis', 'changes', 'results', 'checks', 'browser'] }, depends_on: { type: 'array', items: { type: 'string' }, maxItems: 12 }, - tools: { type: 'array', description: 'analysis必填,只读工具名称,例如inspect_project/read_file/query_code。', items: { type: 'string' } }, + tools: { type: 'array', description: 'analysis必填,仅限枚举中的只读工具;运行命令不属于读取证据。', items: { type: 'string', enum: PLAN_READ_TOOLS }, minItems: 1, maxItems: PLAN_READ_TOOLS.length, uniqueItems: true }, paths: { type: 'array', description: 'changes/results必填,项目相对文件路径。changes仅核验本Task实际应用;results核验verify_existing_files的当前文件成果。', items: { type: 'string' }, maxItems: 32 }, checks: { type: 'array', description: 'checks必填,仅核验当前源码的最新通过结果,名称如test/build/python:test。基线失败仍保留在检查日志,不设为checks计划步骤;改动后的通过验收再设此步骤。', items: { type: 'string' }, maxItems: 6 }, viewport_width: { type: 'integer', description: 'browser必填,固定桌面/手机视口宽度。', minimum: 320, maximum: 1440 }, diff --git a/task_plan.md b/task_plan.md index 6370248a..b29e4c3f 100644 --- a/task_plan.md +++ b/task_plan.md @@ -1,5 +1,14 @@ # Agent Workbench:核心代理能力研究与产品计划 +## 当前:用户项目“引航演示”真实错误排查 + +2026-11-06用户要求查看已加入项目的大量错误,解释与Codex/Claude Code/DeepSeek Harness的差距,并处理能确认的工作台问题。接续干净ada7d364,已有他轮1.25.4修复/AC样本;实际服务版本与来源重新核对,不把浏览器旧release查询串当当前版本。不读取/复制/解密/重存Key、不自动续跑用户任务,不改用户工程原源码/测试/暂存或历史错误。 + +1. [in_progress] 只读定位项目/全部所属会话、原用户目标/真实工具/模型错误及当前运行身份,保存可核对证据。 +2. [pending] 分类工作台缺陷、模型/供应商和工程环境;用原输入做隔离重现,确定最小修复。 +3. [pending] 修复并验证相关路径,保留原失败与差异;如产品变更按现有独立发行纪律交付。 +4. [pending] 汇总真实原因、已修与仍未知、采用技术与实际接入范围,阶段回顾并本地提交,不推送。 + ## 当前:AB 已验证低强度模式的新工程验证 AA已封存提交6726ce14,原关闭门不满足且不续跑。AB使用同revision3/credential1的DeepSeek开启低强度,新冻结/新单请求/新Node;AA+AB合计100请求700000tokens,计入AA未知预留2235,不扩大总额。 diff --git a/tests/anthropic-messages.test.mjs b/tests/anthropic-messages.test.mjs index 58a59d23..e288fd85 100644 --- a/tests/anthropic-messages.test.mjs +++ b/tests/anthropic-messages.test.mjs @@ -29,7 +29,7 @@ function stream(content = [{ type: 'text', text: '完成。' }], extra = {}) { const result = [event('message_start', { message: start }), event('ping')]; content.forEach((block, index) => { const initial = block.type === 'tool_use' ? { ...block, input: {} } : block.type === 'text' ? { ...block, text: '' } - : block.type === 'thinking' ? { ...block, thinking: '', signature: '' } : block; + : block.type === 'thinking' ? { type: 'thinking', thinking: '' } : block; result.push(event('content_block_start', { index, content_block: initial })); if (block.type === 'tool_use') { const json = JSON.stringify(block.input), at = Math.floor(json.length / 2); @@ -193,6 +193,22 @@ test('native JSON rejects incomplete stops, duplicate tools and hosted content', } }); +test('native SSE assembles late signature fragments and still rejects missing or malformed signatures before dispatch', async () => { + const cfg = { ...config('https://example.test'), streaming: true }; + const thinking = { type: 'thinking', thinking: 'opaque fixture only', signature: 'owned-signature' }; + const original = stream([thinking, tool]); + const signatureEvent = event('content_block_delta', { index: 0, delta: { type: 'signature_delta', signature: thinking.signature } }); + const split = original.replace(signatureEvent, ['owned-', 'signature'].map(signature => event('content_block_delta', { index: 0, delta: { type: 'signature_delta', signature } })).join('')); + const read = raw => readModelStream(new Response(raw, { headers: { 'content-type': 'text/event-stream' } }), cfg, undefined, undefined, [definition]); + const result = await read(split); + assert.deepEqual(result.value.content[0], thinking); + assert.equal(result.value.content[1].name, 'list_files'); + for (const invalid of [original.replace(signatureEvent, ''), original.replace('"type":"thinking","thinking":""', '"type":"thinking","thinking":"","signature":42'), + original.replace(signatureEvent, event('content_block_delta', { index: 0, delta: { type: 'signature_delta', signature: null } })), original.replace(event('message_stop'), '')]) { + await assert.rejects(read(invalid), cause => ['protocol', 'stream_interrupted'].includes(cause.diagnostic?.kind)); + } +}); + test('Messages rejects empty, whitespace and thinking-only answers without rejecting valid text or tool calls', () => { for (const content of [[], [{ type: 'text', text: '' }], [{ type: 'text', text: ' \n ' }], [{ type: 'thinking', thinking: 'opaque fixture', signature: 'owned-signature' }], [{ type: 'redacted_thinking', data: 'owned-opaque' }]]) { diff --git a/tests/task-plans.test.mjs b/tests/task-plans.test.mjs index 6fae522e..73e9b1d4 100644 --- a/tests/task-plans.test.mjs +++ b/tests/task-plans.test.mjs @@ -8,13 +8,21 @@ import { fixture, call, assertToolPairs } from './helpers.mjs'; import { readingStep, checksStep, beginPlanTask, completeRead } from './fixtures/task-plan-fixture.mjs'; import { createDeliveryProject, applyDeliveryFix, deliveryGit } from './fixtures/delivery-project.mjs'; import { createBrowserProject, browserSteps } from './fixtures/browser-project.mjs'; -import { taskPlanInput } from '../src/shared/contracts/task-plans.mjs'; +import { taskPlanInput, PLAN_READ_TOOLS } from '../src/shared/contracts/task-plans.mjs'; +import { taskPlanToolDefinitions } from '../src/shared/contracts/task-plan-tools.mjs'; import { TaskPlanManager } from '../src/core/tasks/task-plan-manager.mjs'; import { Store } from '../src/server/store.mjs'; import { Provider } from '../src/server/provider.mjs'; import { Runtime } from '../src/server/runtime.mjs'; import { compactToolFeedback } from '../src/core/context/tool-feedback.mjs'; +test('published plan_task analysis tools match the executable read-only contract', () => { + const step = taskPlanToolDefinitions.find(tool => tool.function.name === 'plan_task').function.parameters.properties.steps.items; + assert.deepEqual(step.properties.tools.items.enum, PLAN_READ_TOOLS); + assert.ok(!step.properties.tools.items.enum.includes('run_command')); + assert.throws(() => taskPlanInput({ expected_revision: 0, steps: [{ key: 'read', title: 'Inspect', criterion: 'Read evidence', kind: 'analysis', tools: ['run_command'] }] }), /只读工具/); +}); + test('a real escaped long-file tool message keeps its proof identity within a tight request budget', async t => { const f = fixture(t); beginPlanTask(f); await new TaskPlanManager(f.store).plan(f.session, { expected_revision: 0, steps: [readingStep()] }); fs.writeFileSync(path.join(f.projectRoot, 'long.mjs'), '"中文😀\\\\\n'.repeat(600));