从网页导入数据

知识库支持通过第三方工具如 Jina Reader, Firecrawl 抓取公开网页中的内容，解析为 Markdown 内容并导入至知识库。

Jina Reader 和 Firecrawl 均是开源的网页解析工具，能将网页将其转换为干净并且方便 LLM 识别的 Markdown 格式文本，同时提供了易于使用的 API 服务。

下文将分别介绍 Firecrawl 和 Jina Reader 的使用方法。

Firecrawl

进入 设置 — 数据来源，在 Firecrawl 卡片上添加 API Key。若没有该卡片，请先从 Dify Marketplace 安装 Firecrawl 数据源插件。登录 Firecrawl 官网完成注册，获取 API Key 后按照页面提示填入并点击保存。

在知识库创建页选择 Sync from website，provider 选中 Firecrawl，填入需要抓取的目标 URL。设置中的配置项包括：是否抓取子页面、抓取页面数量上限、页面抓取深度、排除页面、仅抓取页面、提取内容。完成配置后点击 Run，预览将要被抓取的目标页面链接。

导入网页解析的文本后存储至知识库的文档中，查看导入结果。点击 Add URL 可以继续导入新的网页。抓取完成后，网页中的内容将会被收录至知识库内。

进入 设置 — 数据来源，在 Jina Reader 卡片上添加 API Key。若没有该卡片，请先从 Dify Marketplace 安装 Jina Reader 数据源插件。登录 Jina Reader 官网完成注册，获取 API Key 后并按照页面提示填入并保存。

在知识库创建页选择 Sync from website，provider 选中 Jina Reader，填写需要抓取的目标 URL。

设置中的配置项包括：是否抓取子页面、抓取页面数量上限、是否使用 sitemap 抓取。完成配置后点击 Run 按钮，预览将要被抓取的页面链接。

导入网页解析的文本后存储至知识库的文档中，查看导入结果。如需继续添加网页，轻点右侧 Add URL 按钮继续导入新的网页。

抓取完成后，网页中的内容将会被收录至知识库内。