API 限流计算器
比较 RPM、TPM、并发、延迟和用户请求频率，设计实用的 API 限流规则。
API 限流计算器RPM 计算器TPM 计算器并发请求计算
API 限流计算器
在用户触发上游限制前，检查 RPM、TPM、并发和队列需求。
需求 RPM
125
安全上限 2,250
需求 TPM
112.5K
安全上限 750K
进行中请求
9
按平均延迟计算
限流风险
低
TPM 是更紧的约束
| 项目 | 计算依据 | 结果 |
|---|---|---|
| RPM 利用率 | 需求除以预留后的 RPM | 5.6% |
| TPM 利用率 | 需求除以预留后的 TPM | 15% |
| 建议队列大小 | 仅计算超出预留 RPM 的部分 | 0 |
| 单用户最大频率 | 按预留后的容量分配给活跃用户 | 3.33 次请求/分钟 |
| 建议规则 | 同时设置用户和工作区上限 | 当前缓冲下安全 |
常见问题
将这个计算器用于实际 API 计费和用量规划时的常见问题。
RPM 和 TPM 有什么区别？
RPM 限制每分钟开始的请求数，TPM 限制每分钟处理的 Token 数。请求数量不高时，大提示词仍可能触发 TPM。
并发量如何影响 API 限流？
并发量表示同时进行中的请求数。请求延迟越长，占用并发槽位的时间越久，即使 RPM 不高也可能达到并发上限。
API 请求队列应该设置多大？
队列应吸收短时且可预期的突发，而不是长期过载。应设置最大等待时间，并在延迟不可接受前返回明确的重试响应。
限流容量应预留多少？
可先预留 15% 到 30% 的上游容量，用于重试、监控请求、流量高峰和估算误差。