From 4516f66ab6f8a016fe790ccde2249b5efa0df41c Mon Sep 17 00:00:00 2001 From: Agent Workbench Dev Date: Fri, 30 Oct 2026 14:17:33 +0800 Subject: [PATCH] test: finish 1.11 archive and source package validation --- docs/QA-1.11.md | 8 ++++++++ findings.md | 8 ++++++++ progress.md | 8 ++++++++ scripts/verify-archives.py | 27 ++++++++++++++++++++++++--- scripts/verify-source-package.mjs | 8 ++++++-- task_plan.md | 19 ++++++++++++++----- 6 files changed, 68 insertions(+), 10 deletions(-) diff --git a/docs/QA-1.11.md b/docs/QA-1.11.md index a49adebf..c0ccfc78 100644 --- a/docs/QA-1.11.md +++ b/docs/QA-1.11.md @@ -2,6 +2,14 @@ 当前开发源码已构建为1.11.0;正式4318仍为1.10.1/PID23080,保留原Provider连接。下一发行的完整行为/界面、独立源码、便携、归档和正式升级分别验收,尚未通过的阶段不登记为交付完成。 +## 独立发行验收(2026-10-30) + +- 归档验证使用 `AGENT_WORKBENCH_ARCHIVE_QA_ROOT=D:\\awb`,通过扩展路径逐项解压并核对。便携归档10,999个文件、源码归档9,248个文件,CRC、目录/清单和SHA256均通过;结果见 `.qa/archives-validation.json`。 +- 独立源码包在短路径 `D:\\awb` 下离线安装,使用包内Node.js `v24.22.1`、npm `11.19.1`及隔离Python `3.10.11`/pytest `8.4.2`。最终构建产物6份逐字节匹配,297/297项通过,0失败、0取消、0跳过;结果见 `.qa/source-package-validation.json`。 +- 源码包真实REA三项(ASAR JavaScript、PE imports、PE resources)、DeepSeek Harness `0.2.1-rc.2`六个原生SDK方法和Edge桌面/390px随包浏览器均通过,模型请求为0,根进程均正常退出。 +- 便携包清单10,999文件、启动与同服务复用、显式命令确认、Node/npm检查4/4、REA三项、DeepSeek六方法、Edge桌面/390px和优雅停止均通过;结果见 `.qa/release-validation.json`。 +- 首次源码包回归记录为294/297,3项均由未传入pytest或深路径venv的ensurepip环境问题引起;固定QA Python复验后297/297通过。该失败记录未被覆盖。 + 14类126组最终实际界面全部通过,0页面/请求异常,见[完整UI](task-plans-all-ui-validation.json)。完整源码首轮与UI同时运行,600秒原验证器边界终止,276项返回且没有失败、180份冻结输入未变,见[原超时记录](task-plans-tests-initial-timeout.json);该结果不算完整回归。下一不可变包的独立源码完整退出、统计和字节比对另行验收。 随后按发行口径用固定Node.js `v24.22.1`、npm `11.19.1`及隔离Python 3.10/pytest `8.4.2`完成正式源码回归:297/297通过,0失败、0取消、0跳过,180份输入在测试期间未变化,原日志和输入清单见 `docs/task-plans-tests-validation.json`。首次失败的两个Python用例是环境缺少pytest,另一个是并发4下工作依据等待超时;针对性复验15/15和1/1通过,未覆盖原失败记录。 diff --git a/findings.md b/findings.md index 9d57bcc5..a07574cd 100644 --- a/findings.md +++ b/findings.md @@ -298,3 +298,11 @@ Claude Code 报告已验证工具输入校验、权限决定、队列并发屏 - 1.11完整UI126组通过;首轮完整源码回归与UI并行期间触及原600秒验证器上限,276项返回无失败且输入未变,须以独立源码完整退出与最终统计另行判定。 - TaskPlanManager对checks/browser共用当前工程sourceFingerprint核对,页面分支另核对当前构建。新增实际Edge回归证明仅源码变化、构建未变时同样会使旧证明失效并拒绝新核验;恢复原字节可重新核对,读取和拒绝不执行浏览器。 - 固定Node 24.22.1与隔离pytest 8.4.2后,正式发行口径源码回归297/297通过;初次Node16 PATH抢占、Python缺pytest和并发4的单项超时均被保留为环境诊断,不作为产品失败或成功证据。 + +## 2026-10-30 1.11发行验证发现 + +- Windows普通Zip解压会在源码依赖树的深路径处失败;使用短QA根目录 `D:\\awb` 加扩展路径逐项写入后,9,248文件源码包可完整解压,Git工作区元数据路径不再触发已有保护。 +- 仅让源码包验证器自身使用Node 24不够:npm生命周期脚本按PATH寻找 `node`,会被系统Node 16抢占。验证器现在删除大小写重复的PATH键并将 `dirname(process.execPath)`置于首位,同时保留系统工具路径。 +- 源码包Python测试不应依赖宿主默认解释器或临时venv的ensurepip。通过允许的 `AGENT_WORKBENCH_TEST_PYTHON` 传入固定QA解释器后,pytest统计从294/297恢复为297/297;真实项目解释器仍按项目配置单独判断。 +- 最终源码包与便携包的REA、DeepSeek SDK和Edge验证都使用独立数据目录;DeepSeek连接仅执行六个SDK方法,0 prompt、0模型请求,所属进程正常退出。该证据支持连接契约,不代表开放工程执行能力。 +- 一次只读进度查询错误地同时使用PowerShell `-Tail`与`-Raw`,命令未读取文件且没有副作用;随后改为先Tail再拼接。此类查询错误不进入产品或验收结论。 diff --git a/progress.md b/progress.md index 1f46c073..9e531298 100644 --- a/progress.md +++ b/progress.md @@ -340,3 +340,11 @@ - 新增实际Edge回归覆盖源码变化但dist字节不变,旧桌面/390px证明失效、重新核验拒绝、浏览器job数不变和恢复原源码后证明重新有效;1/1通过。最初仅查看页面专有分支而误判缺少源码核对,真实回归及共用入口源码核对已澄清,没有修改核心实现。 - 接续时过量输出和猜测的task-plans/发行辅助脚本路径被只读查询拒绝;后续按rg返回路径和限定段落核对。组合规划补丁因progress锚点错误整体拒绝,无部分写入,随后分开更新。失败/截断不作通过证据,未读取模型Key或自动重放正式Task。 - 正式回归重新执行完成:固定Node v24.22.1/npm 11.19.1及隔离Python 3.10/pytest 8.4.2,297/297通过,0失败/取消/跳过,180份冻结输入未变。构建通过;此前Node16 PATH误用、Python缺pytest及并发4超时分别保留,不覆盖原记录。 + +## 2026-10-30 1.11独立发行验收完成 + +- 归档验证已改用可配置短根目录和Windows扩展路径解压,`D:\\awb` 下便携10,999文件、源码9,248文件的CRC、清单、目录和SHA256全部通过;证据为 `.qa/archives-validation.json`。 +- 首次源码包验证发现npm脚本继承系统Node 16,Vite拒绝运行;验证器现将 `process.execPath` 所在目录置于子进程PATH首位。修正后包内Node 24安装、构建、REA和DeepSeek阶段通过。 +- 首次完整源码包回归为294/297,3项Python用例因没有传入pytest及深路径venv的ensurepip失败;按既有固定QA解释器 `D:\\Ai-project\\REA逆向\\Agent-Workbench\\.qa\\dev-task-plans\\.qa\\python-3.10\\Scripts\\python.exe`(Python 3.10.11/pytest 8.4.2)重跑后297/297通过,0失败、0取消、0跳过。 +- 源码包真实REA三项、DeepSeek Harness 0.2.1-rc.2六方法和Edge桌面/390px通过;便携包清单、启动复用、命令审批、4/4检查、REA、DeepSeek、Edge桌面/390px和停止通过。模型请求均为0;证据为 `.qa/source-package-validation.json` 和 `.qa/release-validation.json`。 +- 本轮验证器修复尚未提交;正式4318仍待核对实际版本/PID/Provider后升级,完成后再开始1.12专业UI与模型号池能力。 diff --git a/scripts/verify-archives.py b/scripts/verify-archives.py index 9415cb22..160fa865 100644 --- a/scripts/verify-archives.py +++ b/scripts/verify-archives.py @@ -1,5 +1,7 @@ import hashlib import json +import os +import shutil from datetime import datetime, timezone from pathlib import Path, PurePosixPath import sys @@ -9,10 +11,29 @@ import zipfile workspace = Path(__file__).resolve().parent.parent release_dir = (workspace / 'releases').resolve() release = json.loads((release_dir / 'latest.json').read_text(encoding='utf-8')) +archive_qa_root = Path(os.environ.get('AGENT_WORKBENCH_ARCHIVE_QA_ROOT', workspace / '.qa')).resolve() +archive_qa_root.mkdir(parents=True, exist_ok=True) records = [] extraction_root = None version = None +def filesystem_path(path): + """Use the Windows extended path form for source archives with deep dependency trees.""" + value = str(path) + if os.name == 'nt' and not value.startswith('\\\\?\\'): + return '\\\\?\\' + value + return value + +def extract_archive(bundle, root): + for entry in bundle.infolist(): + target = (root / entry.filename.replace('\\\\', '/')).resolve() + if entry.is_dir(): + os.makedirs(filesystem_path(target), exist_ok=True) + continue + os.makedirs(filesystem_path(target.parent), exist_ok=True) + with bundle.open(entry, 'r') as source, open(filesystem_path(target), 'wb') as destination: + shutil.copyfileobj(source, destination) + for kind, root_key in [('portable', 'portableRoot'), ('source', 'sourceRoot')]: root = Path(release[root_key]).resolve() archive = Path(release[kind]['path']).resolve() @@ -45,13 +66,13 @@ for kind, root_key in [('portable', 'portableRoot'), ('source', 'sourceRoot')]: assert len(contents) == expected[relative]['bytes'] assert hashlib.sha256(contents).hexdigest() == expected[relative]['sha256'] if kind == 'source' and '--extract-source' in sys.argv: - isolated = (workspace / '.qa' / ('source-check-' + uuid.uuid4().hex)).resolve() - assert isolated.is_relative_to((workspace / '.qa').resolve()) + isolated = (archive_qa_root / ('source-check-' + uuid.uuid4().hex)).resolve() + assert isolated.is_relative_to(archive_qa_root) isolated.mkdir(parents=True, exist_ok=False) for entry in bundle.infolist(): target = (isolated / entry.filename.replace('\\', '/')).resolve() assert target.is_relative_to(isolated) - bundle.extractall(isolated) + extract_archive(bundle, isolated) extraction_root = str(isolated / root.name) records.append({'kind': kind, 'path': str(archive), 'files': len(expected), 'crcPassed': True, 'manifestAndDirectoryMatch': True, 'sha256': release[kind]['sha256']}) diff --git a/scripts/verify-source-package.mjs b/scripts/verify-source-package.mjs index 16e6820d..c898be15 100644 --- a/scripts/verify-source-package.mjs +++ b/scripts/verify-source-package.mjs @@ -9,15 +9,19 @@ const evidence = JSON.parse(fs.readFileSync('.qa/archives-validation.json', 'utf assert.equal(evidence.success, true); assert.ok(evidence.extractionRoot, 'Run python scripts/verify-archives.py --extract-source first.'); const sourceRoot = fs.realpathSync.native(evidence.extractionRoot); -assert.ok(sourceRoot.startsWith(path.resolve('.qa') + path.sep)); +const archiveQaRoot = path.resolve(process.env.AGENT_WORKBENCH_ARCHIVE_QA_ROOT || '.qa'); +assert.ok(sourceRoot.startsWith(archiveQaRoot + path.sep)); const npmCli = path.join(path.dirname(process.execPath), 'node_modules/npm/bin/npm-cli.js'); assert.ok(fs.existsSync(npmCli), 'Use Node with its bundled npm.'); const files = (root, relative = '') => fs.readdirSync(path.join(root, relative), { withFileTypes: true }).sort((a, b) => a.name.localeCompare(b.name)) .flatMap(entry => entry.isDirectory() ? files(root, path.join(relative, entry.name)) : [path.join(relative, entry.name)]); const digest = file => createHash('sha256').update(fs.readFileSync(file)).digest('hex'); const expected = Object.fromEntries(['dist-client', 'dist-server'].flatMap(folder => files(path.join(workspace, folder)).map(relative => [path.join(folder, relative), digest(path.join(workspace, folder, relative))]))); -const allowedEnv = /^(path|pathext|systemroot|systemdrive|windir|comspec|temp|tmp|userprofile|homedrive|homepath|home|appdata|localappdata|programfiles(?:\(x86\))?|commonprogramfiles(?:\(x86\))?|lang|lc_all|AGENT_WORKBENCH_TEST_PYTHON)$/i; +const allowedEnv = /^(path|pathext|systemroot|systemdrive|windir|comspec|temp|tmp|userprofile|homedrive|homepath|home|appdata|localappdata|programfiles(?:\(x86\))?|commonprogramfiles(?:\(x86\))?|lang|lc_all|AGENT_WORKBENCH_TEST_PYTHON|AGENT_WORKBENCH_DEEPSEEK_ROOT)$/i; const env = Object.fromEntries(Object.entries(process.env).filter(([key]) => allowedEnv.test(key))); +const inheritedPath = Object.entries(env).find(([key]) => key.toLowerCase() === 'path')?.[1] || ''; +for (const key of Object.keys(env)) if (key.toLowerCase() === 'path') delete env[key]; +env.PATH = [path.dirname(process.execPath), inheritedPath].filter(Boolean).join(path.delimiter); let stage = 'install'; const resultFile = path.join(workspace, '.qa/source-package-validation.json'); diff --git a/task_plan.md b/task_plan.md index e0212a0d..cf9f9cb4 100644 --- a/task_plan.md +++ b/task_plan.md @@ -2,12 +2,21 @@ ## 1.11 当前开发:持久任务依赖与证据收尾 -1. [in_progress] 有界无环依赖、不可变/只追加修订、原目标与工作区绑定及真实工具/变更/检查/页面证据。 -2. [pending] 模型工具、上下文保留、未完成暂停、Git预览/提交核对及交付报告。 -3. [pending] 任务记录界面、桌面/390px与迟到响应/宿主恢复验收。 -4. [pending] 相关回归、源码构建、独立真实流程、及时本地提交;发行及正式升级另行判定。 +1. [complete] 有界无环依赖、不可变/只追加修订、原目标与工作区绑定及真实工具/变更/检查/页面证据。 +2. [complete] 模型工具、上下文保留、未完成暂停、Git预览/提交核对及交付报告。 +3. [complete] 任务记录界面、桌面/390px与迟到响应/宿主恢复验收。 +4. [complete] 相关回归、源码构建、独立真实流程、及时本地提交和不可变发行验收。 +5. [pending] 核对正式4318的实际版本/PID/Provider和会话后,按不可变1.11包执行升级;升级完成后再进入1.12专业UI与模型池切片。 -开发位于独立Git工作区6bc3ce4基线;主目录1.10.1修复包独立验收同步执行,正式模型连接仍只在原PID23080内存中。 +开发位于独立Git工作区feat/task-plans-1.11;1.11.0包已完成独立验收,正式模型连接仍只在原PID23080内存中,正式升级尚待单独核对。 + +## 2026-10-30 1.11发行验收收尾 + +- 归档校验使用短QA根目录 `D:\awb` 并通过扩展路径解压:便携10,999文件、源码9,248文件,CRC、清单和SHA256均通过。 +- 独立源码包使用包内Node.js `v24.22.1`、npm `11.19.1`和隔离Python `3.10.11`/pytest `8.4.2`离线安装并构建;最终297/297通过,0失败、0取消、0跳过。 +- 源码包的REA三项静态分析、DeepSeek Harness `0.2.1-rc.2`六个原生SDK方法、Edge桌面/390px随包浏览器均通过,模型请求为0,所属进程均正常退出。 +- 便携包清单10,999文件、启动/同进程复用、Node/npm命令审批、4/4检查、REA三项、DeepSeek六方法、Edge桌面/390px和停止均通过;记录见 `.qa/release-validation.json`。 +- 首次源码包回归的3项失败来自未传入pytest和深路径venv的ensurepip,不是产品逻辑;固定环境复验后成功。首次Node16 PATH抢占和一次查询参数错误均保留为环境记录。 ## 当前执行:真实工程交付与内置浏览器验证(2026-10-30)