API 限流计算器

比较 RPM、TPM、并发、延迟和用户请求频率，设计实用的 API 限流规则。

API 限流计算器RPM 计算器TPM 计算器并发请求计算

在用户触发上游限制前，检查 RPM、TPM、并发和队列需求。

RPM 上限每分钟请求数。TPM 上限每分钟 Token 数。并发用户数平均请求耗时秒用户请求频率/分钟每请求平均 Token运行缓冲%为流量高峰预留的容量。

需求 RPM

125

安全上限 2,250

需求 TPM

112.5K

安全上限 750K

进行中请求

按平均延迟计算

限流风险

低

TPM 是更紧的约束

常见问题

将这个计算器用于实际 API 计费和用量规划时的常见问题。

RPM 和 TPM 有什么区别？

RPM 限制每分钟开始的请求数，TPM 限制每分钟处理的 Token 数。请求数量不高时，大提示词仍可能触发 TPM。

并发量如何影响 API 限流？

并发量表示同时进行中的请求数。请求延迟越长，占用并发槽位的时间越久，即使 RPM 不高也可能达到并发上限。

API 请求队列应该设置多大？

队列应吸收短时且可预期的突发，而不是长期过载。应设置最大等待时间，并在延迟不可接受前返回明确的重试响应。

限流容量应预留多少？

可先预留 15% 到 30% 的上游容量，用于重试、监控请求、流量高峰和估算误差。