test: consume preserved diagnostic feedback after context projection
This commit is contained in:
@@ -19,6 +19,8 @@
|
||||
|
||||
## 回顾与修复
|
||||
|
||||
第三轮历史界面的诊断追问失败另行定位为HTTP夹具遗漏投影协议:本次inspect_session原结果27645字符,原工件及latest-tool-feedback的实际错误来源/HTTP503均可核对;旧夹具没有读取投影视图,反复查询被no_progress拦停。修正验收夹具消费原投影并检查仅一次inspect_session,不更改产品无进展规则。第三轮原15类通过和失败原件保持;后17类按原串行门槛接续,汇总将明确执行分段,不混称单轮32类全部运行。
|
||||
|
||||
真实React第二轮发现Vite留下空`.vite-temp`目录被误判为依赖变化,原失败保留。修正后仅实际文件/链接决定环境身份,所有目录仍检查替换、链接和遍历上限;新增代码文件或修改依赖仍失效。界面回看发现准备成功后仍展示旧诊断,已改为保存执行后诊断,核心流程再验通过。
|
||||
|
||||
完整历史UI第一轮在评测停止封存时失败:候选尚未执行检查,新环境比对缺少候选证据,把真实stopped覆盖为unknown。修正后继续记录环境不可比较和原失败,候选保持stopped且不可采纳;专项1/1通过,完整UI第二轮另验。实现提交a94807f,冻结候选和独立源码/便携验证进行中。
|
||||
|
||||
@@ -1,5 +1,7 @@
|
||||
# 汇总发现
|
||||
|
||||
- 1.21全历史UI揭示旧诊断HTTP夹具不兼容最新工具结果投影:新增环境账本使inspect_session达到27645字符并被原预算封存,实际latest-tool-feedback包含原session、model_connection和HTTP503;夹具只检查原tool消息而循环,不是实际诊断丢失。修正夹具消费原投影并验证只inspect一次,原失败与SHA来源保留。前15类与后17类按同一产品执行输入分段串行,最终证据明确分段范围。
|
||||
|
||||
- 1.20.3已进入实现:HTTP错误原文上限64KiB、界面预览8000字符;保留上游请求ID、code/type/param、允许的诊断头和原Retry-After,额度类错误不重复同线路请求,池内可切换其它可用成员;SSE原事件及原流分开标明,不自动重放片段。原生参数按现有Chat/Responses协议接入,逐连接封存,禁止覆盖消息/工具/预算。实现和部署仍须后续验证,暂不标完成。
|
||||
- 浏览器现状核对:1.10已实现静态工程构建的真实Edge交互/DOM/请求/PNG验收,通用内置浏览器此前只有跨阶段能力项,未排具体版本;本次明确为1.22,位于1.21工程依赖与可复现环境之后。
|
||||
|
||||
|
||||
@@ -1058,6 +1058,12 @@ A–C首实现已写入:只读Node/npm/Python/pytest诊断、锁定npm ci、
|
||||
完整F原件、字节清单和发行身份已封存;不重写旧失败或不可变安装包。下一1.21仅方案,优先工程依赖与可复现环境。
|
||||
# 1.21接续:回顾、修复与最终验证
|
||||
|
||||
修正后的诊断UI 9组通过,实际记录diagnosticReads=1、diagnosticProjectionUsed=true;原503只核对一次,格式化答复、命令中文、401不重试、停止重试及有限恢复全部通过。仅提交验收适配和本轮回顾,产品src与编译产物保持;后17类串行继续。
|
||||
|
||||
第三轮原15类界面通过后,diagnostics追问场景失败,B等待驱动在打包前拒绝继续。只读原自有SQLite/模型请求及截图证实:inspect_session原返回27645字符,新环境执行记录使它按现有预算投影为latest-tool-feedback,原结果与503来源均保留;旧HTTP夹具只认原tool消息,重复请求三次而触发no_progress。产品没有丢失原结果。已修正诊断验收夹具读取投影视图,核对原session/错误来源/HTTP503且只能inspect一次。原第三轮驱动、失败日志和截图先另存;其余17类在保留已通过15类的基础上串行接续,最终报告明示跨两段执行及夹具修订,不宣称未执行的单轮全通过。接续驱动首个副本因同目录qa-evidence相对import未改在启动前退出,原日志保留;新副本仅修正import后启动,无产品或正式状态写入。
|
||||
|
||||
接续f132820时第三轮32类历史UI仍独立串行执行,B候选驱动仅等待通过结果,尚未开始打包。评测验证器会写入旧1.20滚动报告;已先逐字节确认其等于本轮另存的1.21报告,将生成原件备份至`.qa/reproducible-env-legacy-evaluations-generated.json`,再恢复Git中原1.20报告,避免改写历史。新1.21原件不变。继续不改变冻结执行输入、不并行重型打包/界面验收。一次只读检索误写environment/manager.mjs,实际文件是environment/environment-manager.mjs,无产品或数据变化。
|
||||
|
||||
接续实现已本地提交a94807f。最终诊断刷新专项2/2、评测停止封存专项1/1通过。全历史UI首轮发现停止结果被环境不可比较覆盖,修复后第二轮在打包并行期间创建第二批工作区30秒仍preparing而失败;两轮原驱动日志和病例截图已封存,后续在独立阶段结束后串行再验,不直接延长或取消门槛。开发原件114份/13,720,828字节封存在docs/reproducible-env-development-evidence。
|
||||
|
||||
第一冻结候选20261101154547944已拒绝:独立解压源码的受控引擎验证器未登记1.21,在完整测试前停止。归档/离线安装/构建22份一致、REA/SDK/Edge预检原通过与失败均保存;23份/296,197字节拒绝证据已封存,原目录与安装包不改。补齐verify-controlled-release版本、任务控制历史验收和worker UI证据前缀;准备第二冻结候选。历史UI第三轮现在单独运行(session95960,`.qa/environment-all-ui-third.log`),结束后再启动新的独立管线,避免打包并行争用。
|
||||
|
||||
@@ -18,7 +18,7 @@ const api = async (route, input) => {
|
||||
headers: { 'Content-Type': 'application/json', 'X-Workbench-Token': bootstrap.token }, ...(input === undefined ? {} : { body: JSON.stringify(input) }) });
|
||||
const value = await response.json(); assert.ok(response.ok, value.error); return value;
|
||||
};
|
||||
let mode = 'failure', requestCount = 0, sessionId = '', page;
|
||||
let mode = 'failure', requestCount = 0, sessionId = '', page, diagnosticReads = 0, diagnosticProjectionUsed = false;
|
||||
const passed = [], pageErrors = [], networkErrors = [];
|
||||
const model = http.createServer(async (request, response) => {
|
||||
try {
|
||||
@@ -36,8 +36,17 @@ const model = http.createServer(async (request, response) => {
|
||||
if (mode === 'recover') { assert.equal(input.messages.at(-1).role, 'tool'); return answer('**模型请求已恢复**,已完成的读取结果保留。'); }
|
||||
if (mode === 'question') {
|
||||
assert.match(input.messages[0].content, /model_connection/); assert.match(input.messages[0].content, /503/);
|
||||
if (!results.length) return tool('inspect_session', {});
|
||||
const snapshot = JSON.parse(results.at(-1).content); assert.equal(snapshot.lastFailure.httpStatus, 503);
|
||||
// Large owned snapshots may be projected into mandatory latest-tool
|
||||
// feedback. The fixture must consume that saved result like the model,
|
||||
// rather than replaying an inspection whose raw group was archived.
|
||||
const feedback = input.messages.filter(message => message.role === 'system').map(message => {
|
||||
try { return JSON.parse(message.content.split('\n').at(-1)); } catch { return {}; }
|
||||
}).find(value => value.latest_tools)?.data.entries.find(entry => entry.tool === 'inspect_session');
|
||||
const snapshot = results.length ? JSON.parse(results.at(-1).content) : feedback?.result;
|
||||
if (!snapshot) { diagnosticReads++; return tool('inspect_session', {}); }
|
||||
assert.equal(snapshot.session.id, sessionId); assert.equal(snapshot.lastFailure.source, 'model_connection');
|
||||
if (feedback) { diagnosticProjectionUsed = true; assert.equal(feedback.recorded_state, 'completed'); assert.match(snapshot.lastFailure.message, /HTTP 503/); }
|
||||
else assert.equal(snapshot.lastFailure.httpStatus, 503);
|
||||
return answer('已读取工作台执行记录。上次错误发生在请求模型服务时:**HTTP 503**。项目读取已经成功,文件未改动。');
|
||||
}
|
||||
if (mode === 'proposal') {
|
||||
@@ -116,6 +125,8 @@ try {
|
||||
mode = 'question'; await page.getByLabel('任务内容').fill('刚才工作台报错怎么回事?请查执行记录。'); await page.getByRole('button', { name: '发送任务', exact: true }).click();
|
||||
await page.getByText(/已读取工作台执行记录/).waitFor(); await waitState('completed');
|
||||
const answered = await state(); assert.ok(answered.events.some(event => event.tool === 'inspect_session' && event.phase === 'completed'));
|
||||
assert.equal(diagnosticReads, 1, 'Read the actual saved diagnosis once, including when its raw group is projected.');
|
||||
assert.equal(answered.events.filter(event => event.tool === 'inspect_session').length, 1);
|
||||
assert.equal(answered.events.filter(event => event.tool === 'search_files').length, 0);
|
||||
assert.ok(!await page.locator('.message-assistant .message-text').last().innerText().then(text => text.includes('**')));
|
||||
await screenshot('formal-diagnostic-answer'); mark('an error question receives the actual session diagnosis and formatted answer');
|
||||
@@ -158,7 +169,7 @@ try {
|
||||
mode = 'transient'; requestCount = 0; await task('验证自动恢复'); await waitState('completed'); assert.equal(requestCount, 2);
|
||||
await screenshot('formal-desktop'); mark('a transient service failure recovers within the bounded retry policy');
|
||||
assert.deepEqual(pageErrors, []); assert.deepEqual(networkErrors, []);
|
||||
const result = { success: true, version: bootstrap.version, url, date: new Date().toISOString(), passed, pageErrors, requestFailures: networkErrors, modelValidation: 'controlled local HTTP fixture; actual configured model is verified separately' };
|
||||
const result = { success: true, version: bootstrap.version, url, date: new Date().toISOString(), passed, pageErrors, requestFailures: networkErrors, diagnosticReads, diagnosticProjectionUsed, modelValidation: 'controlled local HTTP fixture; actual configured model is verified separately' };
|
||||
fs.writeFileSync('.qa/diagnostics-ui-validation.json', JSON.stringify(result, null, 2)); console.log(JSON.stringify(result, null, 2));
|
||||
} catch (error) {
|
||||
if (page) await page.screenshot({ path: '.qa/screenshots/formal-ui-failure.png', scale: 'css' }).catch(() => {});
|
||||
|
||||
+1
-1
@@ -6,7 +6,7 @@
|
||||
|
||||
1. [complete] A:回顾1.20.3及现有检查/隔离工作区/审批/停止契约,接入只读工程环境诊断与真实运行器身份。
|
||||
2. [complete] B/C:固定npm lockfile的所属隔离准备计划,原依赖/锁文件/注册源/生命周期脚本可见;审批、所属进程/预算/取消、原日志、失败与unknown恢复。
|
||||
3. [in_progress] D:真实环境身份与Task检查/固定评测已接入。回顾真实React工程发现Vite留下空目录被误判,已修正为文件/链接字节身份并保留全部目录遍历保护;相关专项和真实工程复验中。
|
||||
3. [complete] D:真实环境身份与Task检查/固定评测已接入。Vite空目录误判修复后,环境/评测31项、诊断刷新2项及停止封存1项分别通过;两个React工作区实际npm ci、候选9项测试/类型检查/构建及Python2项通过,原版失败保留,最终冻结源码仍单独全套验收。
|
||||
4. [complete] E:中文桌面/390px诊断→计划→确认→执行→日志及停止、过期锁文件、unknown核对、迟到响应等7组通过;原失败日志保持,最终冻结版本还须随包复验。
|
||||
5. [in_progress] F:迁移登记1.21后两组升级通过;源码验证串行,避免固定9229端口争用。继续固定Node/React/Python、完整回归、独立源码/发行/安装、保留状态升级、封存和本地Git。
|
||||
|
||||
|
||||
Reference in New Issue
Block a user