基礎
レート制限
API への単位時間あたりの呼び出し回数・トークン数の上限。
詳しい解説
悪用防止とインフラ負荷分散のため、各 AI ベンダーが設けている API 呼び出し制限。RPM(requests per minute)、TPM(tokens per minute)、TPD(tokens per day)等で表現される。tier(利用実績)に応じて緩和されるのが一般的。バッチ API は別枠の高い上限を持つ。
別表記
レート制限rate limitrate-limit
API への単位時間あたりの呼び出し回数・トークン数の上限。
悪用防止とインフラ負荷分散のため、各 AI ベンダーが設けている API 呼び出し制限。RPM(requests per minute)、TPM(tokens per minute)、TPD(tokens per day)等で表現される。tier(利用実績)に応じて緩和されるのが一般的。バッチ API は別枠の高い上限を持つ。