Files
Agent-Workbench/docs/OPEN-PROBLEMS-HANDOFF.md
T

104 lines
16 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Agent Workbench:未闭环问题与外部 AI 交接材料
这份材料供另一个 AI 独立审查。请先判断现有证据能支持哪些结论,再给出最小修复或可证伪的验证方案。核心目标是让模型在固定预算和文件边界内完成真实工程的读取、修改、原检查、审查及本地 Git 交付。
整理基线:Git `ddefe5f1`,分支 `feat/task-agreement-1.25`;最后完成交付的正式版本为 **1.25.0**,产品来源 `cb54b75abe9ea33462379d8a84e36a3082685b11`,候选 `20261104060043525`。维护文档提交与产品来源是不同身份。本次只复核仓库文档、已封存收据与相关源码,没有重新运行模型、网络诊断、安装或正式任务。
仓库:`D:\Ai-project\REA逆向\Agent-Workbench`。技术栈为 Node.js/ESM、React/TypeScript、Windows/Electron;本地 Runtime 与受控 DeepSeek Harness 是不同执行路径,不应假定两者每轮上下文、工具和观察机制完全相同。
**当前结论:五项问题仍值得外部审查,但状态各不相同。**
| 优先级 | 问题 | 已确认的事实 | 当前缺口 |
| --- | --- | --- | --- |
| P0 | 固定条件下真实 Node 工程交付未闭环,曾反复读取而不修改 | T 的8次模型请求、16次工具操作没有提案/修改/交付;工作记忆有原字节缺陷,U已修复并离线验证 | U及1.25之后没有新的真实工程结果,尚不能判断修复是否改善交付 |
| P0 | 网络/上游波动,以及诊断异常应否阻止 API 验证 | P连接超时;O后续样本HTTP502;V自动TLS通过、独立IPv4 TLS超时 | 唯一根因未知;V按预注册规则结束,未验证实际模型API |
| P0 | 本地token估算与上游报告差异,有限预算被快速耗尽 | R一次本地估算12168输入,上游报告27164输入;后续预留29623大于剩余17429 | 供应商口径、估算和保守预留的影响尚未分离 |
| P1 | 原版受限Purge能加载,但工程收益无法归因 | E/H实际加载原入口/apply及原生模块;开关四组均未完整交付 | 没有可靠的成功率、费用或完成耗时改善证据 |
| P1 | Windows更新反复完整核验,耗时约11–14分钟 | 最新1.25安装操作774098ms,当前载荷扫描3轮、候选2轮 | 性能优化尚未实施;哪些检查能共享、哪些必须重做尚未论证 |
**必须保留的反例和边界。** E曾有一个Python样本通过原6项测试、编译、审查和本地Git,不能写成“真实模型从来没有完成过任何工程”。早期1.24提示实验未加载原版Purge,但后续D/E/H已经加载成功,不能继续列成“插件始终加载不了”。E/H曾发送Claude名称却收到GPT标识,后续N已得到用户确认:该apikey Key属于GPT分组;不能继续把这个误配置当作尚未解决的Claude线路故障,也不能把旧样本当作Claude能力认证。
## 1. 当前真实工程结果与反复读取:修过确定缺陷,真实效果仍未知
**固定任务。** 新隔离Node费用报表工程,允许修改`amount/summary/report`三个源码模块,原九项测试、build和11文件基线固定。最近R/T/V计划采用16K上下文、2048输出、1600安全预留,最多8请求、90000累计tokens、600000ms。模型自己读取、实现、准备检查与交付;监督只批准原检查、审查应用允许文件的完整批次并确认本地Git,不提供实现答案或追加定向指导。需要原九测试及build通过、当前输入一致、仅允许文件的已确认提交,才算闭环。
**T原失败。** 正式1.24.7/source `5dcd6d7c`,8请求、76062报告tokens、0未知,16工具、1次原检查审批;原九测试0通过9失败,基线build通过,0提案/修改/交付,`step_limit`停止。测试文件2584字符在第6轮已经全部读过,但第7/8次实际结构化文件视图仅含27/421字符;原检查job UUID在第6–8次整个原请求中消失。离线调用该历史版本的候选生成器,发现“最长页+最新页”在预算分配前就丢掉`[0,473]`及`[2089,2557]`。这是有原字节支撑的产品缺陷,不能全部归因于模型不愿写代码。
**已经做过。** O去掉重复goal/计划诊断回声;S补文件续读定位与纯文件分页容量;U对同SHA/原范围的真实页聚合,保留当前检查job、失败数量和日志SHA,减少重复成功摘录。U使用T原记录离线重建第7/8次请求,输入12307/12086均在12352输入额度内,实际包含测试全文、三个小模块和原失败/build事实;源码/便携/安装的localhost夹具也验证了这些内容确实发出。1.25继续交付要求复核、原文草案、范围约定和诊断绑定;单轮进展仍为shadow,只记录事实,不向模型追加提示或改变停止规则。
**仍不清楚。** U的确定缺陷修复是否足以让真实模型进入修改、复测和Git?剩余主要损失来自请求内容、工具选择/说明、审查后衔接、实际模型行为,还是有限预算?当前证据不能分离这些因素。最近V在模型调用前结束,**没有在1.25上重新证明T缺陷仍存在,也没有证明真实交付已经修好**。
希望外部AI先按原请求分析“读过/候选保留/实际发送/当前源码有效”四种事实,再指出一个能独立检验的剩余瓶颈。若建议调整工具可见性、提醒或停止策略,应说明它会改变哪一份实际输入、为何不会打断合法只读/分页/长检查;工具surface/前缀实测及提醒队列目前是Tianshu C/D计划,尚未实施。
入口:[working-set](../src/core/context/working-set.mjs)、[request-plan](../src/core/context/request-plan.mjs)、[delivery-progress](../src/core/context/delivery-progress.mjs)、[Runtime](../src/server/runtime.mjs)、[单轮观察](../src/core/context/turn-progress.mjs)、[原生上下文](../src/shared/contracts/engine-context.mjs)。
证据:[T结果](QA-LIVE-DELIVERY-T.md)、[T原件清单](live-delivery-t-evidence/manifest.json)、[U修复与验证](QA-WORKING-MEMORY-U.md)、[单轮观察边界](TURN-PROGRESS-B.md)、[1.25当前交付](QA-TASK-AGREEMENT-1.25.md)。T会话`5a1b39be-8096-46e6-bc43-156ca308f6f9`、Run `714f56ac-55a2-4cd3-acbe-df2cf09f5329`可定位原工件。历史源码应按对应source读取,不用当前实现解释旧请求如何生成。
## 2. 网络与停止门槛:有波动证据,没有唯一根因
P的单次无工具预检通过;随后的新工程首请求对`https://jojocode.com/v1/chat/completions`约10秒连接超时,`UND_ERR_CONNECT_TIMEOUT`、无响应。账本保留1次未知消费和10141tokens估算预留,不等于确认零费用。独立TLS观察12次中11通过、1固定IPv6超时,不能由此认定IPv6就是原请求失败的唯一原因。
O修复后另一新工程的第二请求对apikey端点收到HTTP502、6430字节HTML及`Retry-After: 60`。这是已有HTTP响应的上游错误,与P的连接阶段超时不同。
V只做一次所属DNS/TCP/TLS诊断:DNS、自动路由TLS和IPv6通过,独立IPv4 TCP成功但TLS报`TLS_HANDSHAKE_TIMEOUT`,总体`partial`,10092ms。自动试验和独立IPv4试验都选中`172.67.146.140`,前者TLS约8364ms成功、后者约9407ms超时;IPv6约376ms成功。冻结计划规定“观察异常即结束”,所以HTTP/API和模型请求均为0。
**已经做过。** 产品有有界DNS/TCP/TLS诊断、原HTTP/SSE错误与用量记录、超时设置和严格的请求归属;没有通过强制IP族、关闭证书、自动换池或反复调用到成功来掩盖原失败。
**仍不清楚。** 故障涉及DNS/地址选择、代理或传输参数、阶段预算、瞬时路径/远端负载中的哪些因素?未认证的TLS探针与真实模型POST如何对应?当自动路由通过而另一族探针失败时,是否应另立一个有界API样本,而非由汇总`partial`一律阻断?这是需要审查的新实验设计问题;V停止符合当时规则,不能改写成产品API已确定不可用,也不能事后放宽旧门槛。
希望给出分层可证伪的诊断方案,明确每一步能证明什么、请求/未知消费上限是什么。当前只整理材料,不执行这些新实验。
入口:[transport](../src/core/models/transport.mjs)、[network-probe](../src/core/models/network-probe.mjs)、[network-diagnostics](../src/core/models/network-diagnostics.mjs)、[Provider](../src/server/provider.mjs)。证据:[P结果](QA-LIVE-DELIVERY-P.md)、[O结果](QA-LIVE-CONTEXT-O.md)、[V结果](QA-LIVE-DELIVERY-V.md)、[V冻结门槛](LIVE-DELIVERY-V-PLAN.md)。
## 3. 用量估算和预算:保护生效,但解释与效率没有完全闭环
R新工程6请求、72571报告tokens后停止,剩余17429。第7次必需输入12352可以装入当前窗口,但同Task观察到的最大输入用量比率约2.2324,使下一发送预留29623,大于剩余额度;第7次没有发出。这是累计预算约束,不是新的上下文溢出或网络故障。
比率来源之一:第4次请求35303字节,本地输入估算12168;原响应报告27164输入、303输出、24192缓存输入tokens。供应商模板、tokenizer、缓存/计费口径或代理usage生成原因尚未知。本地估算不能覆盖真实报告,也不能把缓存token字段直接当作新增消费或已节省费用。
**已经做过。** 用量分已报告与未知预留,下一派发按所属线路历史做保守校准;S明确区分“窗口放不下”和“下一次预留大于剩余”。当前`modelReservation`采用`observed-route-max-v1`,取已观察输入比率、输出和总量下限,不降低本地预估。
**仍不清楚。** usage解析和缓存字段是否在各协议保持正确语义?代理报告为何与本地估计差约2.23倍?历史最大比率/总量下限对缩小后的请求是否过于保守?在无法承诺未知上游消费上界时,怎样改善估计与请求内容,而不删除预算保护或篡改账本?“把预算加大”能延后停止,但不能单独回答这些问题。
希望先用原请求/响应重算字段与预留来源,分别报告输入容量、累计预算、缓存用量和未知消费,不把不同停止原因统称为context_limit。
入口:[model-request](../src/shared/contracts/model-request.mjs)、[model-reservation](../src/shared/contracts/model-reservation.mjs)、[request-plan](../src/core/context/request-plan.mjs)、[Provider](../src/server/provider.mjs)、[原生上下文](../src/shared/contracts/engine-context.mjs)。证据:[R结果及原字段](QA-LIVE-DELIVERY-R.md)、[R原件清单](live-delivery-r-evidence/manifest.json)、[H结果](LIVE-RETEST-H-RESULTS.md)。
## 4. 原版受限Purge:加载已证明,收益没有证明
早期1.24只测内置独立提示段、`upstreamPluginLoaded=false`,不能充作原版结果。后续D生产适配已固定Purge1.1.78/Harness0.2.1-rc.2及`purge-original-restricted-v1`;E/H开启组实际调用原版入口/apply、加载两个原生模块,并核对真实模型输入。原版自动更新、宿主修改、自动重试/继续及原版操作工具被外部门控关闭,这不是上游完整默认模式。
E与H各有四组关闭/开启、开启/关闭对照,每轮同题、同工具/测试、同连接修订、32K及105000tokens预算。H开启合计173972报告tokens,关闭187627;四组都未完整交付,开启组无应用批次,关闭组各应用一次,但未完成后续闭环。更早停止不能解释为完成任务更省,样本和停止阶段也不足以证明普遍增益或退化。E/H的请求Claude/返回GPT标识后来被身份审计揭示;N用户确认GPT分组,旧工程结果保留,但不能评价Claude能力或与当前正确配置样本合并。
**仍不清楚。** 在当前受限方式下,提示/钩子是否有净收益?结果主要被主执行链路和累计预算阻断,还是策略本身无益?对同样成功标准而言,需要什么样的基线和样本才能区分这些因素?目前应先取得当前正确配置下的Node闭环,再另冻原版AB/BA,不把“插件能加载”当作效果验收。
入口:[original-purge-runtime](../src/core/engines/original-purge-runtime.mjs)、[original-purge-source](../src/core/engines/original-purge-source.mjs)、[purge-strategy](../src/core/engines/purge-strategy.mjs)。证据:[D接入边界](QA-ORIGINAL-PURGE-D.md)、[E含Python成功样本](LIVE-RETEST-E-RESULTS.md)、[H对照与真实输入](LIVE-RETEST-H-RESULTS.md)、[N分组校正](ROUTING-AUDIT-N.md)。
## 5. 更新耗时:安装成功,但性能问题长期搁置
1.25唯一正式升级成功,操作774098ms,约12分54秒;驱动总耗时794536ms。原PID36552/instance/Provider与65项目81会话的全部原数据保持。安装没有一直失败,尚未解决的是耗时与重复工作。
原安装历史记录:当前载荷的完整清单、目录枚举、加载输入分别3轮;新候选分别2轮。完整清单分组累计503097ms,目录枚举209357ms。仅时间记录不能确定磁盘、杀毒、哈希、文件数量或进度持久化的唯一瓶颈。
**已经做过。** 有阶段进度和耗时收据,完整性、防篡改、路径/目录身份、活动任务/窗口保护、指针发布回退、原宿主与数据保持均验证过;尚未实施去重或缓存优化。首隔离安装QA等待300秒时,原操作实际300503ms完成;原结果先对账再正常关闭/唯一卸载,新隔离目录只将外层QA等待改600秒。延长验收器等待没有降低实际安装耗时。
**仍不清楚。** preflight/current/candidate/host/发布前复核分别有哪些重复调用?哪些可以在同一操作内共享已验证结果,哪些为防核验后文件变化必须重做?文件句柄/身份、目录枚举、缓存失效、大小写/重解析路径与并发修改怎样覆盖?应先对隔离fixture定位调用和耗时,再提出保持上述门槛的优化,不能只删除扫描或重装正式到满意为止。
入口:[install-manager](../src/core/desktop/install-manager.mjs)、[app-installation](../src/core/desktop/app-installation.mjs)、[upgrade-running](../scripts/upgrade-running.mjs)、[hot-upgrade](../src/server/hot-upgrade.mjs)。原收据:[1.25 update-cost.json](task-agreement-1.25-evidence/receipts/update-cost.json);阶段解释:[1.25验收](QA-TASK-AGREEMENT-1.25.md)。
## 交接时最容易误判的事项
- 产品功能、安装与原数据保持已经通过其对应验证;这不能代替真实模型自主工程结果。1.25的24套UI、独立重建和证据封存不等于新增了24个真实模型成功样本。
- 当前真实模型预算为0。旧V/T/R/P/O与E/H原失败不续跑、不覆盖;需要新真实实验时,先另冻当前版本、正确连接、预算、目标、人工边界和停止条件,再按另行授权执行。
- 不读取、复制、解密或重存正式Key;不重启正式宿主/Provider;不推送。交接文档不携带Key或私有数据库快照。原发行、证据清单与封存字节不修改。
- 旧J/M的型号异常已有N分组事实校正;早期Purge未加载、已修复的Git日志忽略/验收器路径/数组顺序等不再列为当前未解产品缺陷。它们说明验证器也会出错,需要按原件复核,而非把每次脚本失败都继续算成产品失败。
- Tianshu C–F尚未实施,是后续计划;单轮shadow已交付,但没有开启自动干预。不能用规划中的机制解释当前模型输入。
## 希望另一个 AI 交回的结果
请优先处理第1–3项,再评估第4/5项。输出每项的证据事实、尚待验证假设、对应代码/原请求位置、最小改动和可以推翻该假设的验证。先给出能用现有封存原件完成的检查;额外网络/模型实验单列成本和前置。
还请独立审查一个开发方法问题:过去多轮局部修复及大量发行/证据验证没有持续转化为新的真实交付证据。哪些机制与当前最小Node任务直接相关,哪些应暂缓?我的建议是先让当前正确配置下的固定Node闭环产生可审查结果,再扩功能和Purge收益实验;这是待外部复核的优先级判断,不是已经证明的根因。
本文引用的证据和源码链接都在仓库内;只转发本文也可理解问题,但要独立核验原请求/响应,需要同时访问对应证据目录。本轮整理未重新运行旧验证器或实测,未新增任何性能/成功率结论。