文档 · 生产实践
限流
为保障整体稳定,平台对请求频率和并发做限制。默认限额可以满足大多数生产场景。
超过限额时返回 429。限额按账户与 API Key 计算,不同模型可能不同。
遇到 429 怎么办
- 按指数退避重试,响应带
Retry-After时按它等待。 - 降低并发,用队列平滑流量峰值。
- 批处理任务避开业务高峰。
- 长期需要更高吞吐,请通过控制台联系我们调整限额。
上游限流
即使没有达到你的账户限额,上游厂商偶发的容量紧张也可能导致 429 或 503。平台会先尝试切换到其他通道,仍然失败才会返回给你,此时按上面的方式重试即可。
推理模型生成长内容可能需要数分钟。请把客户端超时设置为至少 300 秒,或使用流式输出。