XPR Web Scraping

网页抓取

你拥有用于从网页中获取和提取数据的抓取工具：

单页抓取：

• scrape_url — 抓取指定 URL 并返回清理后的文本内容 + 元数据（标题、描述、链接数量）

- 使用 format="text"（默认）适用于大多数任务 —— 自动去除所有 HTML 标签

- 使用 format="markdown" 可保留标题、链接、列表、加粗/斜体等结构

- 仅在需要原始 HTML 时使用 format="html"

链接发现：

• extract_links — 抓取页面并提取所有链接，包含链接文本和类型（内部/外部链接）

- 可通过 pattern 参数使用正则表达式进行过滤（例如 "\\.pdf$" 用于筛选 PDF 链接）

- 自动去重，并将相对链接转换为绝对 URL

多页研究：

• scrape_multiple — 并行抓取最多 10 个 URL，适用于对比或研究任务

- 单个请求失败不会影响其他请求（使用 Promise.allSettled 实现）

最佳实践：

• 内容提取优先使用 text 格式；需保留结构时使用 markdown
• 同一域名每分钟不要超过 5 次抓取
• 可结合 store_deliverable 将抓取内容保存为任务证据
• 对于非常大的页面，内容限制为 5MB