文档 · 生产实践

限流

为保障整体稳定,平台对请求频率和并发做限制。默认限额可以满足大多数生产场景。

超过限额时返回 429。限额按账户与 API Key 计算,不同模型可能不同。

遇到 429 怎么办

  • 按指数退避重试,响应带 Retry-After 时按它等待。
  • 降低并发,用队列平滑流量峰值。
  • 批处理任务避开业务高峰。
  • 长期需要更高吞吐,请通过控制台联系我们调整限额。

上游限流

即使没有达到你的账户限额,上游厂商偶发的容量紧张也可能导致 429 或 503。平台会先尝试切换到其他通道,仍然失败才会返回给你,此时按上面的方式重试即可。

推理模型生成长内容可能需要数分钟。请把客户端超时设置为至少 300 秒,或使用流式输出。