プロバイダーの設定
ワークスペースの管理者とオーナーのみがモデルプロバイダーを設定できます。プロセスはプロバイダー間で一貫しています：サポートされているプロバイダー
大規模言語モデル：- OpenAI (GPT-4, GPT-3.5-turbo)
- Anthropic (Claude)
- Google (Gemini)
- Cohere
- Ollama 経由のローカルモデル
- OpenAI Embeddings
- Cohere Embeddings
- Azure OpenAI
- ローカル埋め込みモデル
- 画像生成 (DALL-E, Stable Diffusion)
- 音声 (Whisper, ElevenLabs)
- モデレーション API
プロバイダー設定例
- OpenAI
- Anthropic
- ローカル (Ollama)
必須：OpenAI Platform の API キーオプション：Azure OpenAI またはプロキシ用のカスタムベース URL、組織スコープ使用のための組織 ID利用可能なモデル：GPT-4, GPT-3.5-turbo, DALL-E, Whisper, テキスト埋め込み
モデルの認証情報を管理
モデルプロバイダーの定義済みモデルやカスタムモデルに対して、複数の認証情報を追加し、それらの認証情報の切り替え、削除、変更を簡単に行うことができます。 以下のシナリオでは、複数のモデル認証情報を追加することをお勧めします。- 環境の分離：開発、テスト、本番など、環境ごとに別々のモデル認証情報を設定します。例えば、開発環境ではデバッグ用にレート制限のある認証情報を使用し、本番環境ではサービスの品質を確保するために、安定したパフォーマンスと十分なクォータを持つ有料の認証情報を使用します。
- コストの最適化：異なるアカウントやモデルプロバイダーから複数の認証情報を追加して切り替えることで、無料または低コストのクォータを最大限に活用し、アプリケーションの開発・運用コストを削減します。
- モデルのテスト：モデルのファインチューニングやイテレーションの過程で、複数のモデルバージョンを作成することがあります。これらの異なるバージョンの認証情報を追加することで、素早く切り替えてパフォーマンスのテストや評価を行うことができます。
- 定義済みモデル
- カスタムモデル
モデルプロバイダーをインストールして最初の認証情報を設定した後、右上の コンフィグ をクリックして、以下の操作を実行します。
- 新しい認証情報を追加する
- すべての定義済みモデルのデフォルトとして認証情報を選択する
- 認証情報を編集する
- 認証情報を削除する
デフォルトの認証情報を削除した場合は、手動で新しい認証情報を指定する必要があります。
負荷分散
モデルプロバイダーに複数の認証情報がある場合、リクエストを自動的に分散できます。負荷分散によってトラフィックが分散され、単一の認証情報がレート制限に達することを防ぎ、高負荷時でもスループットを維持しやすくなります。 デフォルトでは、Dify はラウンドロビン方式を採用し、各リクエストをプール内の次の認証情報へ順番にルーティングします。ある認証情報がレート制限に達すると、その認証情報は 1 分間ローテーションから外され、その後で再試行されます。 設定手順：- モデルリストで対象のモデルを探し、対応する コンフィグ をクリックして 負荷分散 を選択します。
- 負荷分散プールに認証情報を追加します。既存の認証情報から選択するか、新しく追加できます。
- 認証情報を 2 つ以上有効にして、保存 をクリックします。負荷分散が有効なモデルには専用のアイコンが表示されます。
アクセスと権限
チームアクセスはワークスペース権限に従います：- オーナー/管理者 はプロバイダーを設定、修正、削除できます
- エディター/メンバー は利用可能なプロバイダーを表示し、アプリケーションで使用できます