Web サイトからデータをインポート

Dify のナレッジベースでは、Jina ReaderやFirecrawlを利用してウェブページをスクレイピングし、解析したデータを Markdown の形式でナレッジベースに取り込むことができます。

​

Firecrawl

​

Firecrawl の認証情報の設定

設定 > データソース に移動し、Firecrawl カードで API キーを追加します。カードが表示されない場合は、先に Dify Marketplace から Firecrawl データソースプラグインをインストールしてください。 Firecrawl 公式サイト にログインして登録を完了し、API キーを取得してから入力し、保存します。

​

Firecrawl を使用して Web コンテンツをクロールする

ナレッジベース作成のページで Sync from website を選択し、スクレイピングの対象どしてのウェブページの URL を入力します。 設定項目には、サブページのスクレイピング、スクレイピングするページの上限、ページのスクレイピング深度、ページの除外、指定ページのみのスクレイピング、コンテンツの抽出などが含まれます。設定が完了したら Run をクリックし、解析結果のページをプレビューします。 解析されたテキストをナレッジベースのドキュメントにインポートし、結果を確認します。Add URL をクリックすると、新しいウェブページをさらにインポートできます。

​

Jina Reader

​

Jina Reader の認証情報の設定

設定 > データソース に移動し、Jina Reader カードで API キーを追加します。カードが表示されない場合は、先に Dify Marketplace から Jina Reader データソースプラグインをインストールしてください。 Jina Reader の公式サイト にログインして登録を完了し、API キーを取得してから入力し、保存します。

​

Jina Reader を使用して Web コンテンツをクロールする

ナレッジベース作成のページで Sync from website を選択し、スクレイピングの対象どしてのウェブページの URL を入力します。 設定項目には、サブページをクロールするかどうか、クロールされるページ数の上限、サイトマップのクロールを使用するかどうかなどがあります。設定が完了したら Run をクリックし、解析結果のページをプレビューします。 解析されたテキストをナレッジベースのドキュメントにインポートし、結果を確認します。Add URL をクリックすると、新しいウェブページをさらにインポートできます。 クロールが完了すると、Web ページのコンテンツがナレッジ ベースに組み込まれます。