开发者文档

从这些内容开始

搜索标题与正文↑ ↓ 选择 · Enter 打开 · Esc 关闭

速率限制

区分调用速率、额度与上游容量,减少失败和无效重试。

先区分限制类型

类型含义处理方向
RPM每分钟请求数降低突发速率,使用请求队列。
TPM每分钟 Token 量缩短输入输出,将大任务分批。
Key 额度单把 Key 的费用边界查看固定或每日剩余额度。
项目预算项目范围的费用策略查看预算、覆盖范围与超限行为。
上游容量模型或渠道可用容量等待恢复,或提前沟通容量需求。

收到 429 时

阅读错误体,确定是速率、额度还是容量问题。有 Retry-After 时按其指示等待;该头可能是秒数或 HTTP 日期,不能只按一个整数解析所有情况。

调整请求方式

  • 设置队列与最大并发,避免多个任务同时突发启动。
  • 对可重试错误使用带随机抖动的指数退避,并设置最大重试次数。
  • 使用模型支持的输出上限参数,减少无用输出。
  • 避免客户端与业务层同时自动重试,放大请求数量。

规划大规模任务

持续碰到容量限制时,准备目标模型、任务规模和完成窗口,在 容量规划 整理需求。增加 Key 数量不意味着账户或上游容量会同步增加。

相关指南

速率限制 · uouo cloud