1 Phoenix とは
オープンソースおよび OpenTelemetry ベースの可観測性、評価、プロンプトエンジニアリング、実験プラットフォームで、LLM ワークフローおよびエージェントに対応します。Phoenix の公式サイト：https://phoenix.arize.com
2 Phoenix の使い方
1. Phoenix の公式サイトから登録し、ログインする。
2. Phoenix API キーの取得
右上のユーザーメニューから API Key を選択し、API キーを取得・コピーしてください。
3. Phoenix と Dify を統合
Dify アプリケーションで Phoenix を設定します。監視するアプリケーションを開き、サイドメニューで 監視 を選択し、ページ上の アプリケーションパフォーマンスを追跡 をクリックします。
3 Phoenix Cloud の使い方
Phoenix Cloud トレースは Dify Enterprise 3.4.1 以降で利用できます。セルフホスト版 Phoenix はすべての 3.4.x リリースで利用できます。
1. Phoenix Cloud の公式サイトから登録し、ログインする。
2. Phoenix スペースの作成
右上のユーザーメニューから Phoenix スペースを作成できます。スペースを作成 をクリックし、スペース用の一意の URL 識別子を入力してください。
3. Phoenix API キーの作成
スペースを起動した後、左下のユーザーメニューから 設定 を開き、Phoenix API キーを作成できます。システムキー をクリックし、API キーの名前を入力してください。
4. Phoenix Cloud と Dify を統合
Dify アプリケーションで Phoenix を設定します。監視するアプリケーションを開き、サイドメニューで 監視 を選択し、ページ上の アプリケーションパフォーマンスを追跡 をクリックします。モニタリングデータリスト
ワークフロー/会話フロートラッキング情報
ワークフローと会話フローの追跡に使用| ワークフロー | Phoenix トラッキング |
|---|---|
| workflow_app_log_id/workflow_run_id | id |
| user_session_id | - メタデータに配置 |
| name | |
| start_time | start_time |
| end_time | end_time |
| inputs | inputs |
| outputs | outputs |
| モデルトークン消費 | usage_metadata |
| metadata | metadata |
| error | error |
| [workflow] | tags |
| ”conversation_id/none for workflow” | conversation_id in metadata |
- workflow_id - ワークフローの一意識別子
- conversation_id - 会話 ID
- workflow_run_id - 現在の実行 ID
- tenant_id - テナント ID
- elapsed_time - 現在の実行にかかった時間
- status - 実行ステータス
- version - ワークフローバージョン
- total_tokens - 現在の実行で使用されたトークン総数
- file_list - 処理されたファイルのリスト
- triggered_from - 実行をトリガーしたソース
- workflow_run_inputs - 現在の実行の入力データ
- workflow_run_outputs - 現在の実行の出力データ
- error - 実行中に発生したエラー
- query - 実行中に使用されたクエリ
- workflow_app_log_id - Workflow アプリケーションログ ID
- message_id - 関連するメッセージ ID
- start_time - 実行開始時間
- end_time - 実行終了時間
- workflow node executions - ワークフローノードの実行情報
- メタデータ
- workflow_id - ワークフローの一意識別子
- conversation_id - 会話 ID
- workflow_run_id - 現在の実行 ID
- tenant_id - テナント ID
- elapsed_time - 現在の実行にかかった時間
- status - 実行ステータス
- version - ワークフローバージョン
- total_tokens - 現在の実行で使用されたトークン総数
- file_list - 処理されたファイルのリスト
- triggered_from - 実行をトリガーしたソース
メッセージトラッキング情報
LLM 関連の会話を追跡するために使用| チャット | Phoenix LLM |
|---|---|
| message_id | id |
| user_session_id | - メタデータに配置 |
| ”llm” | name |
| start_time | start_time |
| end_time | end_time |
| inputs | inputs |
| outputs | outputs |
| モデルトークン消費 | usage_metadata |
| metadata | metadata |
| [“message”, conversation_mode] | tags |
| conversation_id | conversation_id in metadata |
- message_id - メッセージ ID
- message_data - メッセージデータ
- user_session_id - ユーザーセッション ID
- conversation_model - 会話モード
- message_tokens - メッセージ内のトークン数
- answer_tokens - 回答内のトークン数
- total_tokens - メッセージと回答のトークン総数
- error - エラー情報
- inputs - 入力データ
- outputs - 出力データ
- file_list - 処理されたファイルリスト
- start_time - 開始時間
- end_time - 終了時間
- message_file_data - メッセージ関連のファイルデータ
- conversation_mode - 会話モード
- メタデータ
- conversation_id - 会話 ID
- ls_provider - モデルプロバイダー
- ls_model_name - モデル ID
- status - メッセージステータス
- from_end_user_id - 送信ユーザーID
- from_account_id - 送信アカウント ID
- agent_based - エージェントベースかどうか
- workflow_run_id - ワークフロー実行 ID
- from_source - メッセージソース
レビュー追跡情報
会話のレビューを追跡するために使用| レビュー | Phoenix Tool |
|---|---|
| user_id | - メタデータに配置 |
| ”moderation” | name |
| start_time | start_time |
| end_time | end_time |
| inputs | inputs |
| outputs | outputs |
| metadata | metadata |
| [“moderation”] | tags |
- message_id - メッセージ ID
- user_id - ユーザーID
- workflow_app_log_id - Workflow アプリケーションログ ID
- inputs - レビュー入力データ
- message_data - メッセージデータ
- flagged - 注意が必要とマークされたかどうか
- action - 実施された具体的なアクション
- preset_response - プリセットレスポンス
- start_time - レビュー開始時間
- end_time - レビュー終了時間
- メタデータ
- message_id - メッセージ ID
- action - 実施されたアクション
- preset_response - プリセットレスポンス
提案質問追跡情報
提案質問を追跡するために使用| 提案質問 | Phoenix LLM |
|---|---|
| user_id | - メタデータに配置 |
| ”suggested_question” | name |
| start_time | start_time |
| end_time | end_time |
| inputs | inputs |
| outputs | outputs |
| metadata | metadata |
| [“suggested_question”] | tags |
- message_id - メッセージ ID
- message_data - メッセージデータ
- inputs - 入力データ
- outputs - 出力データ
- start_time - 開始時間
- end_time - 終了時間
- total_tokens - トークン総数
- status - メッセージステータス
- error - エラー情報
- from_account_id - 送信アカウント ID
- agent_based - エージェントベースかどうか
- from_source - メッセージの送信元
- model_provider - モデルプロバイダー
- model_id - モデル ID
- suggested_question - 提案された質問
- level - ステータスレベル
- status_message - ステータスメッセージ
- メタデータ
- message_id - メッセージ ID
- ls_provider - モデルプロバイダー
- ls_model_name - モデル ID
- status - メッセージステータス
- from_end_user_id - 送信ユーザーID
- from_account_id - 送信アカウント ID
- workflow_run_id - ワークフロー実行 ID
- from_source - メッセージの送信元
データセット検索追跡情報
ナレッジベース検索を追跡するために使用| データセット検索 | Phoenix Retriever |
|---|---|
| user_id | - メタデータに配置 |
| ”dataset_retrieval” | name |
| start_time | start_time |
| end_time | end_time |
| inputs | inputs |
| outputs | outputs |
| metadata | metadata |
| [“dataset_retrieval”] | tags |
| message_id | parent_run_id |
- message_id - メッセージ ID
- inputs - 入力データ
- documents - ドキュメントデータ
- start_time - 開始時間
- end_time - 終了時間
- message_data - メッセージデータ
- メタデータ
- message_id - メッセージ ID
- ls_provider - モデルプロバイダー
- ls_model_name - モデル ID
- status - メッセージステータス
- from_end_user_id - 送信ユーザーID
- from_account_id - 送信アカウント ID
- agent_based - エージェントベースかどうか
- workflow_run_id - ワークフロー実行 ID
- from_source - メッセージの送信元
ツール追跡情報
ツールの呼び出しを追跡するために使用| ツール | Phoenix Tool |
|---|---|
| user_id | - メタデータに配置 |
| tool_name | name |
| start_time | start_time |
| end_time | end_time |
| inputs | inputs |
| outputs | outputs |
| metadata | metadata |
| [“tool”, tool_name] | tags |
- message_id - メッセージ ID
- tool_name - ツール名
- start_time - 開始時間
- end_time - 終了時間
- tool_inputs - ツール入力
- tool_outputs - ツール出力
- message_data - メッセージデータ
- error - エラー情報（該当する場合）
- inputs - メッセージの入力
- outputs - メッセージの出力
- tool_config - ツール設定
- time_cost - 時間コスト
- tool_parameters - ツールパラメーター
- file_url - 関連するファイルの URL
- メタデータ
- message_id - メッセージ ID
- tool_name - ツール名
- tool_inputs - ツール入力
- tool_outputs - ツール出力
- tool_config - ツール設定
- time_cost - 時間コスト
- error - エラー情報（該当する場合）
- tool_parameters - ツールパラメーター
- message_file_id - メッセージファイル ID
- created_by_role - 作成者の役割
- created_user_id - 作成者ユーザーID