速度限度概述

什么是速度限度

速度限度是指用户 API 在指按功夫内接见智能创作平台服务频次规定。。。。。。

1.1为什么做速度限度

速度限度是 API 的常见做法,,,,,,其执行原因如下:

  • 保险资源的平正性及合理利用:确保资源平正使用。。。。。。 预防某些用户过多要求,,,,,,影响其他用户的正常使用履历。。。。。。
  • 预防要求过载:提高服务靠得住性。。。。。。援手治理平台总体负载,,,,,,预防因要求激增而导致服务器出现机能问题。。。。。。
  • 安全防护:预防恶意性攻击,,,,,,导致平台过载甚至服务中断。。。。。。

1.2 免费模型速度注明

  1. 智能创作平台对平台的免费模型做了分歧规定的速度限度。。。。。。
  2. 免费模型挪用免费,,,,,,账户的用度账单中看到此类模型的用度为挪用亏损是 0。。。。。。
  3. 免费模型的速度固定。。。。。。对于部门免费模型,,,,,,平台同时提供的速度限度分歧。。。。。。

示例:

ERNIE-Lite-Pro-128K 速度:TPM = 800000 RPM = 10000

AIDC-AI/Marco-o1 速度:TPM = 50,000 RPM = 1,000

注:

  • TPM:Tokens Per Minute,,,,,,每分钟内?户能够接见服务器所所亏损的token数所作出的限度
  • RPM:Requests Per Minute,,,,,,每分钟内?户能够接见服务器的次数所作出的限度