4.0 KiB
模型缓存与用量
模型中心的请求账本,以及任务记录的请求上下文,共用同一份用量明细。这里展示上游报告的 token 分类和字段来源,不计算价格,不保证下一次命中缓存。相同提示前缀、相同连接或本机夹具通过,都不能证明真实供应商不掉缓存。
| 协议字段 | 展示与计算 |
|---|---|
Chat prompt_tokens_details.cached_tokens、DeepSeek prompt_cache_hit_tokens,或兼容端 cached_tokens |
缓存读取;多个别名不同会标注冲突,保留全部原值。 |
Chat prompt_tokens_details.cache_write_tokens |
缓存写入,和缓存读取分开。 |
Chat prompt_tokens_details.uncached_tokens |
未缓存输入;没有此字段时,仅在总输入、读取、写入都有效且可相减时计算,并注明计算来源。 |
DeepSeek prompt_cache_miss_tokens |
未命中缓存输入。它不能证明独立的缓存写入 token 数;写入未报告时保持未知。 |
Responses input_tokens_details.cached_tokens/cache_write_tokens |
分别为读取/写入;未缓存输入的计算条件同上。 |
Responses cache_write_tokens_details.ttl_30m_tokens/ttl_12h_tokens |
两个互斥的写入时长分类,核对其合计与写入量。 |
Messages input_tokens |
未缓存输入。上游同时报告的 cache_read_input_tokens 与 cache_creation_input_tokens 分别是读取和写入;三者相加才是完整输入。 |
Messages cache_creation.ephemeral_5m_input_tokens/ephemeral_1h_input_tokens |
两个互斥的写入时长分类,核对其合计与写入量。 |
Chat/Responses 的 completion_tokens_details.reasoning_tokens / output_tokens_details.reasoning_tokens |
输出中的推理部分,不能在输出或总用量上重复相加。Messages 没有报告该字段时显示未知。 |
缺失与显式 0 不同。非法值、别名冲突、分类不相符或推理大于输出时保留原响应,显示来源与核对结果,不改写为“正常”值,也不触发额外请求。三类输入不完整时,不能用缺失项补零来证明分类合计一致。Messages 的旧归一总量维持兼容,新明细在缺少缓存分类时明确将完整输入及其计算总量列为未知。
新回执追加版本化 tokenAccounting,旧归一字段与 raw 保持原语义。旧回执只做显示投影,不回写记录或更改工件 SHA。没有原始 raw 的旧记录,只展示已保存的归一类别,无法恢复的分类保持未知。
上游 HTTP 错误或中断的 SSE 如已报告有效用量,仍进入物理尝试和 Run 消费记录;请求上下文保留最后一次物理尝试的用量,不将失败误当免费,也不把前一次的已知用量填入最后一次未知尝试。实际成功、失败、unknown、原错误和原响应各自保留;本次没有增加自动重试或执行审批。
协议要求携带的输出字段,与本地输出额度是不同来源。透传模式允许 Messages 必填 max_tokens 和用户显式原生输出设置;证据核验仍校验请求 SHA、字节、归属及发送前封存预算。默认 unrestricted/passthrough/preserve 和已保存权限不变。
本批依据的官方来源与固定正文 SHA 记录在 M2 缓存用量验收机器记录。来源包含 Kimi Chat、DeepSeek 缓存、Claude 缓存、OpenAI 缓存 与 OpenAI 用量。OpenAI Responses Create reference 当次只返回生成式引用指针,未被当作已审读的完整 schema。
完整请求账本分页与增量保存、官方能力注册表、原生块/缓存控制、连接状态亲和及指纹仍按 M2 后续切片开发;真实供应商兼容、工程交付及 Purge 收益按后续新冻结样本分别验证。