Files
Agent-Workbench/docs/MODEL-USAGE.md
T
2026-11-07 11:22:35 +08:00

4.0 KiB

模型缓存与用量

模型中心的请求账本,以及任务记录的请求上下文,共用同一份用量明细。这里展示上游报告的 token 分类和字段来源,不计算价格,不保证下一次命中缓存。相同提示前缀、相同连接或本机夹具通过,都不能证明真实供应商不掉缓存。

协议字段 展示与计算
Chat prompt_tokens_details.cached_tokens、DeepSeek prompt_cache_hit_tokens,或兼容端 cached_tokens 缓存读取;多个别名不同会标注冲突,保留全部原值。
Chat prompt_tokens_details.cache_write_tokens 缓存写入,和缓存读取分开。
Chat prompt_tokens_details.uncached_tokens 未缓存输入;没有此字段时,仅在总输入、读取、写入都有效且可相减时计算,并注明计算来源。
DeepSeek prompt_cache_miss_tokens 未命中缓存输入。它不能证明独立的缓存写入 token 数;写入未报告时保持未知。
Responses input_tokens_details.cached_tokens/cache_write_tokens 分别为读取/写入;未缓存输入的计算条件同上。
Responses cache_write_tokens_details.ttl_30m_tokens/ttl_12h_tokens 两个互斥的写入时长分类,核对其合计与写入量。
Messages input_tokens 未缓存输入。上游同时报告的 cache_read_input_tokens 与 cache_creation_input_tokens 分别是读取和写入;三者相加才是完整输入。
Messages cache_creation.ephemeral_5m_input_tokens/ephemeral_1h_input_tokens 两个互斥的写入时长分类,核对其合计与写入量。
Chat/Responses 的 completion_tokens_details.reasoning_tokens / output_tokens_details.reasoning_tokens 输出中的推理部分,不能在输出或总用量上重复相加。Messages 没有报告该字段时显示未知。

缺失与显式 0 不同。非法值、别名冲突、分类不相符或推理大于输出时保留原响应,显示来源与核对结果,不改写为“正常”值,也不触发额外请求。三类输入不完整时,不能用缺失项补零来证明分类合计一致。Messages 的旧归一总量维持兼容,新明细在缺少缓存分类时明确将完整输入及其计算总量列为未知。

新回执追加版本化 tokenAccounting,旧归一字段与 raw 保持原语义。旧回执只做显示投影,不回写记录或更改工件 SHA。没有原始 raw 的旧记录,只展示已保存的归一类别,无法恢复的分类保持未知。

上游 HTTP 错误或中断的 SSE 如已报告有效用量,仍进入物理尝试和 Run 消费记录;请求上下文保留最后一次物理尝试的用量,不将失败误当免费,也不把前一次的已知用量填入最后一次未知尝试。实际成功、失败、unknown、原错误和原响应各自保留;本次没有增加自动重试或执行审批。

协议要求携带的输出字段,与本地输出额度是不同来源。透传模式允许 Messages 必填 max_tokens 和用户显式原生输出设置;证据核验仍校验请求 SHA、字节、归属及发送前封存预算。默认 unrestricted/passthrough/preserve 和已保存权限不变。

本批依据的官方来源与固定正文 SHA 记录在 M2 缓存用量验收机器记录。来源包含 Kimi Chat、DeepSeek 缓存、Claude 缓存、OpenAI 缓存 与 OpenAI 用量。OpenAI Responses Create reference 当次只返回生成式引用指针,未被当作已审读的完整 schema。

完整请求账本分页与增量保存、官方能力注册表、原生块/缓存控制、连接状态亲和及指纹仍按 M2 后续切片开发;真实供应商兼容、工程交付及 Purge 收益按后续新冻结样本分别验证。