速率限制
速率限制用于保护平台稳定性,并避免单个账户在短时间内占用过多容量。不同账户、令牌、模型或权益等级可能有不同限制。
常见概念
- RPM:每分钟请求数。
- RPD:每天请求数。
- 并发数:同一时间正在处理的请求数量。
- 全局限额:账户下多个令牌共享的总限制。
- 令牌限额:单个 API Key 额外设置的限制。
如何设计客户端
生产环境建议在业务侧做三件事:
- 控制并发,避免瞬间把请求全部发出。
- 对
429、临时上游错误和网络错误使用指数退避。 - 记录失败请求的模型、状态码和请求 ID。
指数退避示例
text
第 1 次重试:等待 1 秒
第 2 次重试:等待 2 秒
第 3 次重试:等待 4 秒
第 4 次重试:等待 8 秒如果多次重试仍失败,应停止重试并把错误交给人工处理。
提升容量
如果你的场景需要更高频率或更高并发,可以:
- 检查权益体系,确认当前等级和容量规则。
- 为测试脚本设置较低令牌限额,避免影响生产服务。
- 联系 DDTokens 团队评估专属配额或企业方案。
具体 RPM、RPD 和并发数以控制台展示和实际账户规则为准。