16 KiB
Agent Workbench:未闭环问题与外部 AI 交接材料
这份材料供另一个 AI 独立审查。请先判断现有证据能支持哪些结论,再给出最小修复或可证伪的验证方案。核心目标是让模型在固定预算和文件边界内完成真实工程的读取、修改、原检查、审查及本地 Git 交付。
整理基线:Git ddefe5f1,分支 feat/task-agreement-1.25;最后完成交付的正式版本为 1.25.0,产品来源 cb54b75abe9ea33462379d8a84e36a3082685b11,候选 20261104060043525。维护文档提交与产品来源是不同身份。本次只复核仓库文档、已封存收据与相关源码,没有重新运行模型、网络诊断、安装或正式任务。
仓库:D:\Ai-project\REA逆向\Agent-Workbench。技术栈为 Node.js/ESM、React/TypeScript、Windows/Electron;本地 Runtime 与受控 DeepSeek Harness 是不同执行路径,不应假定两者每轮上下文、工具和观察机制完全相同。
当前结论:五项问题仍值得外部审查,但状态各不相同。
| 优先级 | 问题 | 已确认的事实 | 当前缺口 |
|---|---|---|---|
| P0 | 固定条件下真实 Node 工程交付未闭环,曾反复读取而不修改 | T 的8次模型请求、16次工具操作没有提案/修改/交付;工作记忆有原字节缺陷,U已修复并离线验证 | U及1.25之后没有新的真实工程结果,尚不能判断修复是否改善交付 |
| P0 | 网络/上游波动,以及诊断异常应否阻止 API 验证 | P连接超时;O后续样本HTTP502;V自动TLS通过、独立IPv4 TLS超时 | 唯一根因未知;V按预注册规则结束,未验证实际模型API |
| P0 | 本地token估算与上游报告差异,有限预算被快速耗尽 | R一次本地估算12168输入,上游报告27164输入;后续预留29623大于剩余17429 | 供应商口径、估算和保守预留的影响尚未分离 |
| P1 | 原版受限Purge能加载,但工程收益无法归因 | E/H实际加载原入口/apply及原生模块;开关四组均未完整交付 | 没有可靠的成功率、费用或完成耗时改善证据 |
| P1 | Windows更新反复完整核验,耗时约11–14分钟 | 最新1.25安装操作774098ms,当前载荷扫描3轮、候选2轮 | 性能优化尚未实施;哪些检查能共享、哪些必须重做尚未论证 |
必须保留的反例和边界。 E曾有一个Python样本通过原6项测试、编译、审查和本地Git,不能写成“真实模型从来没有完成过任何工程”。早期1.24提示实验未加载原版Purge,但后续D/E/H已经加载成功,不能继续列成“插件始终加载不了”。E/H曾发送Claude名称却收到GPT标识,后续N已得到用户确认:该apikey Key属于GPT分组;不能继续把这个误配置当作尚未解决的Claude线路故障,也不能把旧样本当作Claude能力认证。
1. 当前真实工程结果与反复读取:修过确定缺陷,真实效果仍未知
固定任务。 新隔离Node费用报表工程,允许修改amount/summary/report三个源码模块,原九项测试、build和11文件基线固定。最近R/T/V计划采用16K上下文、2048输出、1600安全预留,最多8请求、90000累计tokens、600000ms。模型自己读取、实现、准备检查与交付;监督只批准原检查、审查应用允许文件的完整批次并确认本地Git,不提供实现答案或追加定向指导。需要原九测试及build通过、当前输入一致、仅允许文件的已确认提交,才算闭环。
T原失败。 正式1.24.7/source 5dcd6d7c,8请求、76062报告tokens、0未知,16工具、1次原检查审批;原九测试0通过9失败,基线build通过,0提案/修改/交付,step_limit停止。测试文件2584字符在第6轮已经全部读过,但第7/8次实际结构化文件视图仅含27/421字符;原检查job UUID在第6–8次整个原请求中消失。离线调用该历史版本的候选生成器,发现“最长页+最新页”在预算分配前就丢掉[0,473]及[2089,2557]。这是有原字节支撑的产品缺陷,不能全部归因于模型不愿写代码。
已经做过。 O去掉重复goal/计划诊断回声;S补文件续读定位与纯文件分页容量;U对同SHA/原范围的真实页聚合,保留当前检查job、失败数量和日志SHA,减少重复成功摘录。U使用T原记录离线重建第7/8次请求,输入12307/12086均在12352输入额度内,实际包含测试全文、三个小模块和原失败/build事实;源码/便携/安装的localhost夹具也验证了这些内容确实发出。1.25继续交付要求复核、原文草案、范围约定和诊断绑定;单轮进展仍为shadow,只记录事实,不向模型追加提示或改变停止规则。
仍不清楚。 U的确定缺陷修复是否足以让真实模型进入修改、复测和Git?剩余主要损失来自请求内容、工具选择/说明、审查后衔接、实际模型行为,还是有限预算?当前证据不能分离这些因素。最近V在模型调用前结束,没有在1.25上重新证明T缺陷仍存在,也没有证明真实交付已经修好。
希望外部AI先按原请求分析“读过/候选保留/实际发送/当前源码有效”四种事实,再指出一个能独立检验的剩余瓶颈。若建议调整工具可见性、提醒或停止策略,应说明它会改变哪一份实际输入、为何不会打断合法只读/分页/长检查;工具surface/前缀实测及提醒队列目前是Tianshu C/D计划,尚未实施。
入口:working-set、request-plan、delivery-progress、Runtime、单轮观察、原生上下文。
证据:T结果、T原件清单、U修复与验证、单轮观察边界、1.25当前交付。T会话5a1b39be-8096-46e6-bc43-156ca308f6f9、Run 714f56ac-55a2-4cd3-acbe-df2cf09f5329可定位原工件。历史源码应按对应source读取,不用当前实现解释旧请求如何生成。
2. 网络与停止门槛:有波动证据,没有唯一根因
P的单次无工具预检通过;随后的新工程首请求对https://jojocode.com/v1/chat/completions约10秒连接超时,UND_ERR_CONNECT_TIMEOUT、无响应。账本保留1次未知消费和10141tokens估算预留,不等于确认零费用。独立TLS观察12次中11通过、1固定IPv6超时,不能由此认定IPv6就是原请求失败的唯一原因。
O修复后另一新工程的第二请求对apikey端点收到HTTP502、6430字节HTML及Retry-After: 60。这是已有HTTP响应的上游错误,与P的连接阶段超时不同。
V只做一次所属DNS/TCP/TLS诊断:DNS、自动路由TLS和IPv6通过,独立IPv4 TCP成功但TLS报TLS_HANDSHAKE_TIMEOUT,总体partial,10092ms。自动试验和独立IPv4试验都选中172.67.146.140,前者TLS约8364ms成功、后者约9407ms超时;IPv6约376ms成功。冻结计划规定“观察异常即结束”,所以HTTP/API和模型请求均为0。
已经做过。 产品有有界DNS/TCP/TLS诊断、原HTTP/SSE错误与用量记录、超时设置和严格的请求归属;没有通过强制IP族、关闭证书、自动换池或反复调用到成功来掩盖原失败。
仍不清楚。 故障涉及DNS/地址选择、代理或传输参数、阶段预算、瞬时路径/远端负载中的哪些因素?未认证的TLS探针与真实模型POST如何对应?当自动路由通过而另一族探针失败时,是否应另立一个有界API样本,而非由汇总partial一律阻断?这是需要审查的新实验设计问题;V停止符合当时规则,不能改写成产品API已确定不可用,也不能事后放宽旧门槛。
希望给出分层可证伪的诊断方案,明确每一步能证明什么、请求/未知消费上限是什么。当前只整理材料,不执行这些新实验。
入口:transport、network-probe、network-diagnostics、Provider。证据:P结果、O结果、V结果、V冻结门槛。
3. 用量估算和预算:保护生效,但解释与效率没有完全闭环
R新工程6请求、72571报告tokens后停止,剩余17429。第7次必需输入12352可以装入当前窗口,但同Task观察到的最大输入用量比率约2.2324,使下一发送预留29623,大于剩余额度;第7次没有发出。这是累计预算约束,不是新的上下文溢出或网络故障。
比率来源之一:第4次请求35303字节,本地输入估算12168;原响应报告27164输入、303输出、24192缓存输入tokens。供应商模板、tokenizer、缓存/计费口径或代理usage生成原因尚未知。本地估算不能覆盖真实报告,也不能把缓存token字段直接当作新增消费或已节省费用。
已经做过。 用量分已报告与未知预留,下一派发按所属线路历史做保守校准;S明确区分“窗口放不下”和“下一次预留大于剩余”。当前modelReservation采用observed-route-max-v1,取已观察输入比率、输出和总量下限,不降低本地预估。
仍不清楚。 usage解析和缓存字段是否在各协议保持正确语义?代理报告为何与本地估计差约2.23倍?历史最大比率/总量下限对缩小后的请求是否过于保守?在无法承诺未知上游消费上界时,怎样改善估计与请求内容,而不删除预算保护或篡改账本?“把预算加大”能延后停止,但不能单独回答这些问题。
希望先用原请求/响应重算字段与预留来源,分别报告输入容量、累计预算、缓存用量和未知消费,不把不同停止原因统称为context_limit。
入口:model-request、model-reservation、request-plan、Provider、原生上下文。证据:R结果及原字段、R原件清单、H结果。
4. 原版受限Purge:加载已证明,收益没有证明
早期1.24只测内置独立提示段、upstreamPluginLoaded=false,不能充作原版结果。后续D生产适配已固定Purge1.1.78/Harness0.2.1-rc.2及purge-original-restricted-v1;E/H开启组实际调用原版入口/apply、加载两个原生模块,并核对真实模型输入。原版自动更新、宿主修改、自动重试/继续及原版操作工具被外部门控关闭,这不是上游完整默认模式。
E与H各有四组关闭/开启、开启/关闭对照,每轮同题、同工具/测试、同连接修订、32K及105000tokens预算。H开启合计173972报告tokens,关闭187627;四组都未完整交付,开启组无应用批次,关闭组各应用一次,但未完成后续闭环。更早停止不能解释为完成任务更省,样本和停止阶段也不足以证明普遍增益或退化。E/H的请求Claude/返回GPT标识后来被身份审计揭示;N用户确认GPT分组,旧工程结果保留,但不能评价Claude能力或与当前正确配置样本合并。
仍不清楚。 在当前受限方式下,提示/钩子是否有净收益?结果主要被主执行链路和累计预算阻断,还是策略本身无益?对同样成功标准而言,需要什么样的基线和样本才能区分这些因素?目前应先取得当前正确配置下的Node闭环,再另冻原版AB/BA,不把“插件能加载”当作效果验收。
入口:original-purge-runtime、original-purge-source、purge-strategy。证据:D接入边界、E含Python成功样本、H对照与真实输入、N分组校正。
5. 更新耗时:安装成功,但性能问题长期搁置
1.25唯一正式升级成功,操作774098ms,约12分54秒;驱动总耗时794536ms。原PID36552/instance/Provider与65项目81会话的全部原数据保持。安装没有一直失败,尚未解决的是耗时与重复工作。
原安装历史记录:当前载荷的完整清单、目录枚举、加载输入分别3轮;新候选分别2轮。完整清单分组累计503097ms,目录枚举209357ms。仅时间记录不能确定磁盘、杀毒、哈希、文件数量或进度持久化的唯一瓶颈。
已经做过。 有阶段进度和耗时收据,完整性、防篡改、路径/目录身份、活动任务/窗口保护、指针发布回退、原宿主与数据保持均验证过;尚未实施去重或缓存优化。首隔离安装QA等待300秒时,原操作实际300503ms完成;原结果先对账再正常关闭/唯一卸载,新隔离目录只将外层QA等待改600秒。延长验收器等待没有降低实际安装耗时。
仍不清楚。 preflight/current/candidate/host/发布前复核分别有哪些重复调用?哪些可以在同一操作内共享已验证结果,哪些为防核验后文件变化必须重做?文件句柄/身份、目录枚举、缓存失效、大小写/重解析路径与并发修改怎样覆盖?应先对隔离fixture定位调用和耗时,再提出保持上述门槛的优化,不能只删除扫描或重装正式到满意为止。
入口:install-manager、app-installation、upgrade-running、hot-upgrade。原收据:1.25 update-cost.json;阶段解释:1.25验收。
交接时最容易误判的事项
- 产品功能、安装与原数据保持已经通过其对应验证;这不能代替真实模型自主工程结果。1.25的24套UI、独立重建和证据封存不等于新增了24个真实模型成功样本。
- 当前真实模型预算为0。旧V/T/R/P/O与E/H原失败不续跑、不覆盖;需要新真实实验时,先另冻当前版本、正确连接、预算、目标、人工边界和停止条件,再按另行授权执行。
- 不读取、复制、解密或重存正式Key;不重启正式宿主/Provider;不推送。交接文档不携带Key或私有数据库快照。原发行、证据清单与封存字节不修改。
- 旧J/M的型号异常已有N分组事实校正;早期Purge未加载、已修复的Git日志忽略/验收器路径/数组顺序等不再列为当前未解产品缺陷。它们说明验证器也会出错,需要按原件复核,而非把每次脚本失败都继续算成产品失败。
- Tianshu C–F尚未实施,是后续计划;单轮shadow已交付,但没有开启自动干预。不能用规划中的机制解释当前模型输入。
希望另一个 AI 交回的结果
请优先处理第1–3项,再评估第4/5项。输出每项的证据事实、尚待验证假设、对应代码/原请求位置、最小改动和可以推翻该假设的验证。先给出能用现有封存原件完成的检查;额外网络/模型实验单列成本和前置。
还请独立审查一个开发方法问题:过去多轮局部修复及大量发行/证据验证没有持续转化为新的真实交付证据。哪些机制与当前最小Node任务直接相关,哪些应暂缓?我的建议是先让当前正确配置下的固定Node闭环产生可审查结果,再扩功能和Purge收益实验;这是待外部复核的优先级判断,不是已经证明的根因。
本文引用的证据和源码链接都在仓库内;只转发本文也可理解问题,但要独立核验原请求/响应,需要同时访问对应证据目录。本轮整理未重新运行旧验证器或实测,未新增任何性能/成功率结论。