負荷分散

モデルのレート制限（Rate limits）とは、モデルプロバイダーがユーザーまたは顧客に対し、指定された時間内にAPIサービスへアクセスする回数に対して設ける制限のことです。これにより、APIの乱用や誤用を防ぎ、すべてのユーザーが公平にAPIにアクセスできるようにし、インフラ全体の負荷を管理することができます。 企業レベルで大規模にモデルAPIを呼び出す際、同時リクエストが多いとレート制限を超えてしまい、ユーザーのアクセスに影響を及ぼすことがあります。負荷分散は、複数のAPIエンドポイント間でAPIリクエストを分配することで、すべてのユーザーがレート制限にかからずに最速の応答とモデル呼び出しのスループットを得られるようにし、ビジネスの安定した運用を保障する仕組みです。 モデルプロバイダー — モデルリスト — 負荷分散の設定 でこの機能を有効にし、同じモデルに複数の認証情報（APIキー）を追加することができます。 デフォルト設定では、APIキーは初回設定時にモデルプロバイダーに追加された認証情報です。設定の追加 をクリックして、同じモデルの異なるAPIキーを追加することで、負荷分散機能を使用できます。 少なくとも1つの追加モデル認証情報を追加することで、負荷分散を有効にできます。 既に設定されている認証情報を一時的に無効化または削除することも可能です。 設定完了後、モデルリスト内にすべての有効な負荷分散モデルが表示されます。 モデルの追加からも負荷分散を設定することができ、設定手順は上記と同じです。