モデルプロバイダープラグイン

dify plugin init

models/my_provider/
├── models                # モデル実装と設定ディレクトリ
│   ├── llm               # LLM タイプ
│   │   ├── _position.yaml  (オプション、ソート順を制御)
│   │   ├── model1.yaml     # 特定モデルの設定
│   │   └── llm.py          # LLM 実装ロジック
│   └── text_embedding    # Embedding タイプ
│       ├── _position.yaml
│       ├── embedding-model.yaml
│       └── text_embedding.py
├── provider              # プロバイダーレベルのコードディレクトリ
│   └── my_provider.py    # プロバイダー認証情報の検証
└── manifest.yaml         # プラグインマニフェストファイル

# 基本プロバイダー識別
provider: anthropic                # プロバイダー ID（一意である必要があります）
label:
  en_US: Anthropic                 # UI での表示名
description:
  en_US: Anthropic's powerful models, such as Claude 3.
  zh_Hans: Anthropic 的强大模型，例如 Claude 3。
icon_small:
  en_US: icon_s_en.svg            # プロバイダーの小さいアイコン（選択 UI に表示）
icon_large:
  en_US: icon_l_en.svg            # 大きいアイコン（詳細ビューに表示）
background: "#F0F0EB"             # UI でのプロバイダーの背景色

# ユーザー向けヘルプ情報
help:
  title:
    en_US: Get your API Key from Anthropic
    zh_Hans: 从 Anthropic 获取 API Key
  url:
    en_US: https://console.anthropic.com/account/keys

# サポートされるモデルタイプと設定アプローチ
supported_model_types:
  - llm                           # このプロバイダーは LLM モデルを提供
configurate_methods:
  - predefined-model              # 事前定義モデルアプローチを使用

# プロバイダーレベルの認証情報フォーム定義
provider_credential_schema:
  credential_form_schemas:
    - variable: anthropic_api_key  # API キーの変数名
      label:
        en_US: API Key
      type: secret-input           # 機密データ用のセキュア入力
      required: true
      placeholder:
        zh_Hans: 在此输入你的 API Key
        en_US: Enter your API Key
    - variable: anthropic_api_url
      label:
        en_US: API URL
      type: text-input             # 通常のテキスト入力
      required: false
      placeholder:
        zh_Hans: 在此输入你的 API URL
        en_US: Enter your API URL

# モデル設定
models:
  llm:                            # LLM タイプモデルの設定
    predefined:
      - "models/llm/*.yaml"       # モデル設定ファイルを見つけるパターン
    position: "models/llm/_position.yaml"  # 表示順序を定義するファイル

# 実装ファイルの場所
extra:
  python:
    provider_source: provider/anthropic.py  # プロバイダークラスの実装
    model_sources:
      - "models/llm/llm.py"                 # モデル実装ファイル

model_credential_schema:
  model: # ファインチューニングされたモデル名フィールド
    label:
      en_US: Model Name
      zh_Hans: 模型名称
    placeholder:
      en_US: Enter your model name
      zh_Hans: 输入模型名称
  credential_form_schemas:
  - variable: openai_api_key
    label:
      en_US: API Key
    type: secret-input
    required: true
    placeholder:
      zh_Hans: 在此输入你的 API Key
      en_US: Enter your API Key
  - variable: openai_organization
    label:
        zh_Hans: 组织 ID
        en_US: Organization
    type: text-input
    required: false
    placeholder:
      zh_Hans: 在此输入你的组织 ID
      en_US: Enter your Organization ID
  # 必要に応じて追加フィールド...

import logging
from dify_plugin.entities.model import ModelType
from dify_plugin.errors.model import CredentialsValidateFailedError
from dify_plugin import ModelProvider

logger = logging.getLogger(__name__)


class AnthropicProvider(ModelProvider):
    def validate_provider_credentials(self, credentials: dict) -> None:
        """
        API に対して認証情報をテストして検証します。
        
        このメソッドは、認証情報が有効であることを確認するために
        簡単な API 呼び出しを試みる必要があります。
        
        :param credentials: YAML スキーマで定義されたプロバイダー認証情報
        :raises CredentialsValidateFailedError: 検証が失敗した場合
        """
        try:
            # LLM モデルタイプのインスタンスを取得し、認証情報を検証
            model_instance = self.get_model_instance(ModelType.LLM)
            model_instance.validate_credentials(
                model="claude-3-opus-20240229", 
                credentials=credentials
            )
        except CredentialsValidateFailedError as ex:
            # 認証情報検証エラーをそのまま渡す
            raise ex
        except Exception as ex:
            # その他の例外をログに記録して再スロー
            logger.exception(f"{self.get_provider_schema().provider} credentials validate failed")
            raise ex

from dify_plugin import ModelProvider

class XinferenceProvider(ModelProvider):
    def validate_provider_credentials(self, credentials: dict) -> None:
        """
        カスタムモデルのみのプロバイダーの場合、検証はモデルレベルで行われます。
        このメソッドは、抽象基底クラスの要件を満たすために存在します。
        """
        pass

model: claude-3-5-sonnet-20240620   # モデルの API 識別子
label:
  en_US: claude-3-5-sonnet-20240620 # UI での表示名
model_type: llm                     # ディレクトリタイプと一致する必要があります
features:                           # 特別な機能
  - agent-thought
  - vision
  - tool-call
  - stream-tool-call
  - document
model_properties:                   # モデル固有のプロパティ
  mode: chat                        # "chat" または "completion"
  context_size: 200000              # 最大コンテキストウィンドウ
parameter_rules:                    # ユーザー調整可能なパラメータ
  - name: temperature
    use_template: temperature       # 事前定義テンプレートを参照
  - name: top_p
    use_template: top_p
  - name: max_tokens
    use_template: max_tokens
    required: true
    default: 8192
    min: 1
    max: 8192
pricing:                           # オプションの価格情報
  input: '3.00'
  output: '15.00'
  unit: '0.000001'                 # 100万トークンあたり
  currency: USD

import logging
from typing import Union, Generator, Optional, List
from dify_plugin.provider_kits.llm import LargeLanguageModel # 基底クラス
from dify_plugin.provider_kits.llm import LLMResult, LLMResultChunk, LLMUsage # 結果クラス
from dify_plugin.provider_kits.llm import PromptMessage, PromptMessageTool # メッセージクラス
from dify_plugin.errors.provider_error import InvokeError, InvokeAuthorizationError # エラークラス

logger = logging.getLogger(__name__)

class MyProviderLargeLanguageModel(LargeLanguageModel):
    def _invoke(self, model: str, credentials: dict, prompt_messages: List[PromptMessage],
                model_parameters: dict, tools: Optional[List[PromptMessageTool]] = None,
                stop: Optional[List[str]] = None, stream: bool = True,
                user: Optional[str] = None) -> Union[LLMResult, Generator[LLMResultChunk, None, None]]:
        """
        モデル API を呼び出すためのコアメソッド。
        
        パラメータ:
            model: 呼び出すモデル識別子
            credentials: 認証情報
            prompt_messages: 送信するメッセージのリスト
            model_parameters: temperature、max_tokens などのパラメータ
            tools: 関数呼び出し用のオプションのツール定義
            stop: オプションの停止シーケンスのリスト
            stream: レスポンスをストリーミングするか（True）、完全なレスポンスを返すか（False）
            user: API トラッキング用のオプションのユーザー識別子
            
        戻り値:
            stream=True の場合: LLMResultChunk オブジェクトを生成するジェネレータ
            stream=False の場合: 完全な LLMResult オブジェクト
        """
        # API リクエストパラメータの準備
        api_params = self._prepare_api_params(
            credentials, model_parameters, prompt_messages, tools, stop
        )
        
        try:
            # ストリーミング設定に基づいて適切なヘルパーメソッドを呼び出す
            if stream:
                return self._invoke_stream(model, api_params, user)
            else:
                return self._invoke_sync(model, api_params, user)
        except Exception as e:
            # エラーを処理してマッピング
            self._handle_api_error(e)
    
    def _invoke_stream(self, model: str, api_params: dict, user: Optional[str]) -> Generator[LLMResultChunk, None, None]:
        """ストリーミング API 呼び出し用のヘルパーメソッド"""
        # ストリーミング呼び出しの実装詳細
        pass
        
    def _invoke_sync(self, model: str, api_params: dict, user: Optional[str]) -> LLMResult:
        """同期 API 呼び出し用のヘルパーメソッド"""
        # 同期呼び出しの実装詳細
        pass
        
    def validate_credentials(self, model: str, credentials: dict) -> None:
        """
        この特定のモデルに対して認証情報が機能するかを検証します。
        ユーザーが認証情報を追加または変更しようとするときに呼び出されます。
        """
        # 認証情報検証の実装
        pass
        
    def get_num_tokens(self, model: str, credentials: dict, 
                       prompt_messages: List[PromptMessage],
                       tools: Optional[List[PromptMessageTool]] = None) -> int:
        """
        指定された入力のトークン数を推定します。
        オプションですが、正確なコスト見積もりのために推奨されます。
        """
        # トークンカウントの実装
        pass
        
    @property
    def _invoke_error_mapping(self) -> dict[type[InvokeError], list[type[Exception]]]:
        """
        ベンダー固有の例外から Dify 標準の例外へのマッピングを定義します。
        これにより、異なるプロバイダー間でエラー処理を標準化できます。
        """
        return {
            InvokeAuthorizationError: [
                # ベンダー固有の認証エラーをここにリスト
            ],
            # その他のエラーマッピング
        }