すべての Dify アプリには、少なくとも 1 つのモデルプロバイダーが必要です。Dify にはプロバイダーのカタログが組み込まれており、プロバイダーを選んで API キーを設定すると、ワークスペース内のすべてのアプリでそのモデルを利用できます。
API キーはワークスペース全体のモデルアクセスを許可し、各プロバイダーのアカウントを通じて直接請求が発生します。プロバイダーを管理できるのは、ワークスペースのオーナーと管理者のみです。
プロバイダーを追加する
-
設定 > モデルプロバイダー を開き、モデルプロバイダを追加 セクションのカタログから目的のプロバイダーを探します。設定済みのプロバイダーはページ上部に表示されます。
-
プロバイダーカードの セットアップ をクリックし、API キー(およびカスタムエンドポイント URL や組織 ID など、必要なその他の認証情報)を入力します。Dify はプロバイダーを利用可能にする前に認証情報を検証します。
カスタムモデルを追加する
ほとんどのプロバイダーは独自のモデルを備えているため、認証情報を設定すればそのモデルをすぐに利用できます。モデルを自分で追加する必要があるのは、必要なモデルが用意されていない場合だけで、主に次の 2 つのケースです。
- Ollama や Xinference など、自前の推論サーバーを運用しており、読み込んだモデルを Dify が把握できない場合。
- プロバイダーがモデルを一覧表示しているものの、必要な特定のモデル(新しくリリースされたモデルやファインチューニング済みモデルなど)がない場合。
プロバイダーカードの モデルを追加 をクリックし、モデル名と認証情報を指定します。固定されたモデルのみを提供するプロバイダーでは、このオプションは表示されません。
負荷分散
負荷分散を使うと、モデルに複数の認証情報を設定してリクエストを自動的に振り分けられるため、高負荷時でも単一の認証情報がレート制限に達するのを防げます。
デフォルトでは、Dify はラウンドロビン方式を採用し、各リクエストをプール内の次の認証情報へ順番にルーティングします。ある認証情報がレート制限に達すると、その認証情報は 1 分間ローテーションから外され、その後で再試行されます。
設定手順:
- プロバイダーのモデルリストで対象のモデルにカーソルを合わせ、負荷分散の設定 をクリックします。
- 負荷分散 を選択し、設定を追加 をクリックしてプールに認証情報を追加します。
- 認証情報を 2 つ以上有効にして、保存 をクリックします。負荷分散が有効なモデルには、モデルリストに負荷分散バッジが表示されます。
デフォルトモデルを設定する
ツールバーの システムモデル設定 をクリックすると、カテゴリごとにフォールバックモデルを割り当てられます。モデルを指定しないアプリやノードは、ここで設定したモデルを使用します。
- システム推論モデル:デフォルトの LLM です。
- 埋め込みモデル:ナレッジベースのインデックス作成と検索に使用します。
- Rerankモデル:検索結果を関連度で並べ替えます。
- 音声-to-テキストモデル:音声入力をテキストに変換します。
- テキスト-to-音声モデル:テキストの応答を音声に変換します。