test(release): preserve full-history diagnostics and recover the user-closed host baseline
This commit is contained in:
@@ -1,5 +1,7 @@
|
||||
# Agent Workbench项目执行规范
|
||||
|
||||
1.25.5发行首轮被用户退出Codex中断:原36552与源码/打包进程退出(无正式安装命令);首全量299顶层结果/1诊断夹具失败、无终态,不完整候选20261105172742201保留。诊断测试改测新完整历史契约、原断言含义保持,13/13通过;旧16K压缩独立覆盖。由原安装入口恢复正式1.25.4/PID55352/instance029df044,原Provider已无法保持,三临时Key已丢失/hasKey=false,用户仅在模型中心补填。85项目101会话和全部工件保持;一个旧Run checkpoint账本重建及Task/Session保存/+1恢复事件单列核对,严格exact首失败保持。后续升级保留此新PID/Provider/实际凭据状态。三目录5/9/2已获取,DeepSeek声明1048576/393216、其余无容量;声明不是能力验证,采用时须明示累计预算相容。详见QA-PROJECT-GENERATION-REPAIR.md;本轮真实推理0,不续跑原任务,不委派/推送或触Key。
|
||||
|
||||
用户项目“引航演示”排查与透传/缓存修复源码已阶段提交:2b178211修合法Messages流起始签名和plan_task工具枚举,72115647贯通模型容量/完整历史/前缀事实与长文件分段,并修复并列否定检查误判。102相关、边界13/14+接口名修正1/1、任务控制10/10、网页/Electron各3组6图及旧预算2组通过;未知容量初始128K/16384不是能力验证,池输出各发成员额度、输入仍共同窗口保守规划。原9真实请求/75666tokens/5截断/0交付完整保留,不续跑原项目,不碰Key。当前准备1.25.5完整源码/独立发行/实际安装/保留原PID36552和Provider升级;正式仍1.25.4,不能把源码修复当已部署。本阶段真实模型0,网络间歇/普遍重复读取/真实预留边界/自主交付/Purge未知保持。见docs/QA-PROJECT-GENERATION-REPAIR.md。
|
||||
|
||||
1.25.4输出上限截断的有界恢复已完整本地交付并正式升级:源码dfb6029f给出output_truncated可执行诊断(Chat length/Messages max_tokens/Responses max_output_tokens/流中断length统一reason=output_truncated、要求拆分提案),0fefa65e在runtime对该截断做有界恢复——被截断轮次不执行任何工具/不入历史,把拆分提示作为独立一轮加入providerMessages后续跑,每Run最多2次、超过仍以原诊断失败、失败尝试与用量照常计入不记unknown;model-hub同步使该截断不冷却连接,恢复轮可命中同一连接。单元5/5、model-stream端到端25/25、相关88/88、全量933项930通过(2 pytest环境+1 evaluations并发抖动单独15/15)、build通过。74b00308把package.json/lock/字面量APP_VERSION同步1.25.4并扩展受控发行与verify-release的全部1.25.x分支。最终来源9b064ce1/候选Agent-Workbench-1.25.4-win-x64-20261105012317146、installer SHA b5c9c49a…,verify-release隔离宿主独立通过(退出0,与1.25.3同覆盖)。唯一正式升级约264s,原PID36552/instance 4c910dd5/Provider保持,指针29→30/previous1.25.3、retention原行/导出/工件字节/模型中心全exact、83项目99会话保持、hasKey=true、realModelRequests=0/keyReadOrResaved=false。AC真实样本(scripts/live-ac、证据.qa/live-recovery-ac共110份37194279字节、manifest docs/live-recovery-ac-evidence-manifest.json)沿用AB同连接1a7a55a9/low/2048输出/16K同题:第7请求命中finish_reason=length(该尝试failed/identity incomplete/12201tokens作证据保留、用量计入、非unknown),1.25.4触发“第1/2次恢复”注入拆分提示续跑,第8/9/10三个propose_file(均completed/matched/同连接未被冷却饿死)、第11 prepare_change_set一次封存三文件并审查应用落地src/amount|summary|report三模块;但应用后模型未重新plan_checks/run_checks即continue-reviewed,运行时在verification_incomplete验证门暂停,success=false、未达完整绿测Git交付(与Z3同类保护,非恢复缺陷)。12请求121810tokens/0unknown/约75s,预算与选择还原AC开始基线、DeepSeek revision5→7(+2单调)/credential1/identityPolicy还原record、+1自有项目(84项目),宿主回idle/窗口0/9229关闭,全程不触Key。对照1.25.3 AB同点截断为0提案/0交付,恢复把致命输出截断转为模型拆分并落地三文件的真实推进。详见docs/QA-OUTPUT-TRUNCATION-RECOVERY-1.25.4.md。更高比例连续截断、其它供应商/协议真实截断恢复及完整自主交付未在本轮覆盖;不委派/推送、不读取/复制/解密/重存Key、不续跑旧样本。以下AA/AB及更早段落按历史时点理解,当前正式状态以本段为准。
|
||||
|
||||
@@ -46,3 +46,13 @@ Chat/Responses/DeepSeek及Messages的上游缓存用量按实际回执保留原
|
||||
## 结论边界
|
||||
|
||||
本工作台主路径是自有Runtime和模型API;研究或接入受控DeepSeek Harness,不等于移植Codex、Claude Code或DeepSeek Harness的完整运行时。工具/协议/容量/恢复的本地缺陷应由工作台负责。真实自主工程交付、供应商间歇稳定性、普遍重复读取、真实预留边界和Purge收益仍按原实验保留未知;测试数量和安装成功不能替代这些结果。
|
||||
|
||||
## 发行验收中断与新基线
|
||||
|
||||
625个冻结输入已核对与d5de9093相同。首完整源码运行到299条顶层结果(1失败)时没有终态;首不可变打包仅产生20261105172742201的两个不完整目录,latest仍1.25.4。用户确认“刚才是codex 我大退了”,原PID36552及两条验收进程均退出,4318拒绝;本阶段未派发正式安装,也未发结束原进程命令。原日志与不完整目录保留,不能算完整回归、发行成功或产品崩溃实证。
|
||||
|
||||
唯一已发现的完整源码失败为旧16K/compact诊断测试:inspect_session结果增大后被合法归档,测试替身强取原始tool消息报错。保持诊断语义、改测新安装完整历史策略,检验实际发送的全部上下文;原失败、只读观察复现和1/1补验均保留,最终diagnostics 13/13通过。有限压缩仍由原独立回归覆盖,不提高产品预算或改写旧历史。
|
||||
|
||||
正式服务由原1.25.4安装入口恢复为PID55352、instance029df044;新Provider不等于原Provider保持。85项目/101会话与全部工件/原磁盘配置保持;启动恢复核对发现一个旧Run的checkpoint按持久工具账本重建,连同其Task/Session保存和1条session.recovered事件,严格全行exact首断言被拒,随后单独核对差异,不回滚恢复。原停止理由token_limit、原工具和模型尝试保持。三条临时Key随退出丢失,hasKey=false;未读取、复制、解密或重存凭据,已请用户仅在模型中心补填。后续发行升级绑定此新基线PID/instance和实际凭据有无,不继续声称保留36552。
|
||||
|
||||
退出前另以原凭据内部复用获取三目录:apikey5、Claude9、DeepSeek2,当前型号均在列,未应用目录或发送推理请求。DeepSeek声明context1048576/output393216;另两条不声明容量。该声明不是实测能力;采用声明时单次输出预留393216超过原Run累计200000,必须明确调整可审查额度,不能暗中裁低输出,也不能让默认请求在发送前被自己的预算挡住。真实缓存命中/自主交付仍未在本阶段测试。
|
||||
|
||||
@@ -1,5 +1,7 @@
|
||||
# 汇总发现
|
||||
|
||||
1.25.5完整回归首299顶层结果含1诊断夹具失败,没有终态;用户确认退出Codex后原PID36552/两个验收进程均退出,非已执行正式升级。新1.25.4服务PID55352/instance029df044,三临时Key均未保存因而丢失;不读取或补造Key。恢复会按持久工具账本重建旧Run checkpoint,严格全行exact会拒绝,需说明所属Task/Session保存与新增恢复事件。原16K compact诊断测试依赖未被压缩的原tool,新增schema/诊断体积使其归档;改测新完整历史默认并保留全部诊断断言,13/13通过。三上游目录成功,DeepSeek声明输出393216大于原Run累计200000,采用容量必须同时明确累计预算,否则不裁低也会在发送前暂停;另外两家容量未声明,不能推断已验证能力。
|
||||
|
||||
用户补充“透传/不截流/高缓存”:不只是调大默认值,还要保留实际请求与完整响应、用户设置不被静默clamp。发现request-plan对大窗口仍以16000输入target提前压缩,system含动态项目清单且runtime每轮重建任务/诊断段,项目记忆/Skills/MCP目录附带新工件身份插在历史前,会打断前缀。缓存上游报告现有Claude计数已保留;需要把Chat/Responses/DeepSeek实际报告正规化,不将共同前缀或本地文件索引缓存当供应商命中。容量设置会有model/manual策略,旧配置保持manual,目录明确容量不再被源连接2048裁低。两次apply_patch整批因猜测标题/占位import校验失败,已按实际文本重新补,失败操作无产品文件变化。
|
||||
|
||||
“引航演示”起步实证:正式实际1.25.4/原PID36552,项目d2a23086(D:/Ai-project/引航演示)只有一个失败会话be9397b1。原目标为从零开发数字人课程制作产品。原inspect_project/list_files都返回空工程,项目rg匹配无文件(exit1是空列表,不是工程构建错误)。两Run共9模型请求,4个实际工具事件:inspect/list成功、plan_task首次工具枚举校验拒绝后修正成功;0提案/检查/写入。首Run池在DeepSeek→GPT→Claude间选线,有两次length恢复后Messages初始块格式失败;用户续接后GPT连续三次length耗尽2次恢复。最后诊断output_truncated。需要核对原SSE确切结构、单文件输出长度与池路由,不能笼统归网络或认为1.25.4恢复已解决单大文件问题。只读原记录已存.qa/user-project-errors-20261106,尚未发送模型/操作Key/改用户工程。
|
||||
|
||||
@@ -2,6 +2,8 @@
|
||||
|
||||
## 用户项目“引航演示”错误排查
|
||||
|
||||
- 用户退出Codex使原正式36552及首完整测试/打包中断,首299顶层结果含1失败、无终态,不完整候选不删除/不使用。诊断旧16K夹具归档后强取tool导致失败,改测新完整历史语义,diagnostics13/13通过。原1.25.4安装入口恢复PID55352,Provider新建/三临时Key丢失,已请用户在模型中心补填;85/101和工件保持,单旧Run checkpoint账本重建/Task/Session保存和1恢复事件精确单列。下一重新冻结完整回归与独立发行,后续原PID指55352,不能再宣称36552保持。
|
||||
|
||||
- 源码最终网页/Electron各3组6图、旧预算两视口2组均通过并回看。策略控件沿用原表单网格,模型模式隐藏未启用旧2048,手动原值保持;各自有HTTP32768输出和实际回执700缓存tokens/共同前缀B分开核对。阶段diff回顾后本地提交,再独立发行1.25.5;正式仍1.25.4/原PID36552,没有真实模型请求。
|
||||
|
||||
- 容量/完整历史/前缀与长文件已实施;102/102相关回归,最终边界14项13通过+池测试接口名修正后1/1;任务否定语义10/10,完整构建通过。自动池现各发成员额度,原始输出/用量/缓存缺失保持可核对。真实模型请求0,源码尚未部署。实际网页/Electron复核中发现并列“不要修改或检查”误判已修;alert角色、夹具能力和响应式等待等验收器首失败均保留。误运行不存在build.mjs、tsc -b生成的自有tsbuildinfo及文档403亦如实记录;生成文件已移除,不作构建成功依据。
|
||||
|
||||
@@ -7,8 +7,8 @@ import { publicSnapshot, compareOriginalState, hash } from './retained-host-stat
|
||||
import { inspectHostInstallation } from '../src/core/desktop/app-installation.mjs';
|
||||
|
||||
// Retained-state 1.25.4 to 1.25.5 local upgrade (model capacity, full history and cache evidence).
|
||||
// One installer operation only; preserve every first failure and never restart
|
||||
// the formal Provider or read keys.
|
||||
// One installer operation only; preserve the live baseline Provider and never
|
||||
// restart it or read keys. A prior user-closed host has a separate recovery receipt.
|
||||
const attempt = process.argv[3] ?? 'formal', url = 'http://127.0.0.1:4318', mode = process.argv[2];
|
||||
assert.match(attempt, /^formal(-attempt-[0-9]+)?$/);
|
||||
const root = path.resolve('.qa/capacity-cache-1.25.5', attempt);
|
||||
@@ -35,12 +35,12 @@ async function inspectorClosed() {
|
||||
const startedAt = new Date().toISOString(); let result;
|
||||
try {
|
||||
await inspectorClosed(); const host = await api('/host/status'), dataRoot = host.identity.dataRoot;
|
||||
assert.equal(host.identity.pid, 36552); assert.equal(host.activity.active, false);
|
||||
assert.ok(Number.isSafeInteger(host.identity.pid) && host.identity.pid > 0); assert.equal(host.activity.active, false);
|
||||
assert.equal(host.desktopWindows.count, 0);
|
||||
const installRoot = path.dirname(path.dirname(host.identity.runtimeRoot));
|
||||
assert.equal(path.basename(path.dirname(host.identity.runtimeRoot)), 'versions');
|
||||
const current = await publicSnapshot(url, dataRoot);
|
||||
assert.equal(current.pid, 36552); assert.equal(current.hasKey, true); assert.deepEqual(current.active, []);
|
||||
assert.equal(current.pid, host.identity.pid); assert.deepEqual(current.active, []);
|
||||
if (baseline) {
|
||||
assert.equal(current.version, '1.25.4');
|
||||
save('state-before.json', current); save('host-before.json', host); save('pointer-before.json', read(path.join(installRoot, 'current.json')));
|
||||
@@ -49,6 +49,8 @@ try {
|
||||
tables: Object.fromEntries(Object.entries(current.database.tables).map(([name, table]) => [name, table.count])) };
|
||||
} else {
|
||||
const before = read(path.join(root, 'state-before.json')); compareOriginalState(before, current);
|
||||
assert.equal(host.identity.pid, before.pid);
|
||||
assert.equal(host.identity.instanceId, read(path.join(root, 'host-before.json')).identity.instanceId);
|
||||
const candidate = read('releases/latest.json');
|
||||
assert.equal(candidate.documentation.sourceCommit, sourceCommit, 'Candidate must be built from the reviewed HEAD.');
|
||||
assert.equal(read(path.join(candidate.portableRoot, 'MANIFEST.json')).version, '1.25.5');
|
||||
|
||||
+1
-1
@@ -7,7 +7,7 @@
|
||||
1. [complete] 原项目/两Run/9请求与原响应SHA、实际1.25.4运行身份已核对,调查原件保留。
|
||||
2. [complete] Claude合法thinking起始误拒、plan_task缺少工具枚举已复现、修复并提交2b178211;相关62项61通过+精确补验3/3,测试驱动首失败保留。
|
||||
3. [complete] 容量/完整历史/前缀审计/上游缓存计数/长文件分段已实现;102相关及新增边界、保存失败/重启、三协议与池各自输出通过。最终网页/Electron各3组6图、旧预算两视口2组与构建通过;并列否定误识别必查已修并10/10。未知能力、原失败、旧Run与原实验不改。
|
||||
4. [pending] 入口验证后审查diff、回顾并本地提交,再冻结1.25.5独立构建/归档/安装和保留原Provider升级;源码完成不冒称已部署,不推送。真实自主交付/网络/重复读取/真实预留/Purge未知保持。
|
||||
4. [in_progress] 源码提交72115647/发行冻结d5de9093后,用户退出Codex使原进程与首全量/打包中断;299顶层结果1诊断旧16K夹具失败、无完整终态,不完整候选保持。诊断改测新完整历史契约13/13通过;新正式基线1.25.4/PID55352/instance029df044,临时Key丢失如实提示。重冻后完整回归、独立构建/归档/安装,再保留新Provider升级;单列恢复checkpoint差异与采用容量配置,不推送,真实自主交付/网络/重复读取/真实预留/Purge未知保持。
|
||||
|
||||
## 当前:AB 已验证低强度模式的新工程验证
|
||||
|
||||
|
||||
@@ -27,16 +27,20 @@ test('routine engineering facts remove duplicate success excerpts while complete
|
||||
});
|
||||
|
||||
test('a question about the previous workbench error receives local error context and current change states', async t => {
|
||||
const f = fixture(t);
|
||||
// This test requires the original inspection result in the next model turn.
|
||||
// Exercise the new complete-history default; finite compaction is covered
|
||||
// independently and may archive this growing runtime diagnostic under 16K.
|
||||
const f = fixture(t, { modernDefaults: true });
|
||||
f.session.changes.push({ id: 'impl', path: 'src/catalog.js', status: 'applied' }, { id: 'tests', path: 'tests/catalog.test.mjs', status: 'applied' });
|
||||
f.store.message(f.session, 'system', 'fetch failed');
|
||||
f.store.event(f.session, { kind: 'error', label: '任务需要处理', phase: 'failed', output: 'fetch failed' });
|
||||
const provider = new Provider();
|
||||
let round = 0;
|
||||
provider.complete = async (_config, messages) => {
|
||||
assert.match(messages[0].content, /model_connection/);
|
||||
assert.match(messages[0].content, /inspect_session/);
|
||||
assert.match(messages[0].content, /"status":"applied"/);
|
||||
const sentContext = messages.map(message => typeof message.content === 'string' ? message.content : '').join('\n');
|
||||
assert.match(sentContext, /model_connection/);
|
||||
assert.match(sentContext, /inspect_session/);
|
||||
assert.match(sentContext, /"status":"applied"/);
|
||||
if (++round === 1) return { message: completion([call('inspect', 'inspect_session', {})]).choices[0].message };
|
||||
const result = JSON.parse(messages.findLast(message => message.role === 'tool').content);
|
||||
assert.equal(result.lastFailure.source, 'model_connection');
|
||||
|
||||
Reference in New Issue
Block a user