查看日志
调用日志用于核对用量、费用、耗时和路由情况。遇到错误或费用异常时,先查看日志。
日志包含什么
一条日志通常应帮助你确认:
- 请求时间。
- 使用的令牌。
- 请求模型和实际处理模型。
- 输入、缓存和输出 Token。
- 折扣前费用和实际费用。
- 上游耗时、系统耗时和总耗时。
- 响应状态和请求 ID。
不同协议和模型的字段可能略有不同,以控制台展示为准。
如何排查费用
排查费用时,按顺序检查:
- 请求模型是否符合预期。
- 实际处理模型是否发生变化。
- 输入和输出 Token 是否异常偏高。
- 是否命中了缓存价格。
- 当前用户等级折扣是否已经生效。
如何排查慢请求
慢请求通常来自三类原因:
- 模型输出过长。
- 上游模型响应慢。
- 客户端网络或连接超时。
如果日志提供耗时拆分,先判断耗时主要发生在上游还是系统侧。联系支持时,提供请求 ID 和请求时间。
日志保留
日志可能只保留最近一段时间。对于生产服务,建议你在业务侧保存关键字段:
- 请求 ID。
- 模型名。
- Token 用量。
- 实际费用。
- 状态码。
- 请求时间。