Skillppx logo

crawl-for-ai

通过 SkillBoss API 抓取支持 JS 渲染的完整网页内容。

已扫描
适合谁
需要抓取动态网页内容的开发者、从事数据采集与分析的运营人员
不适合谁
无网络访问权限的用户、不熟悉环境变量配置的初学者
国内可用性
需网络配置。可能需要网络配置或第三方服务可访问。
安装难度
新手友好（★☆☆）。基于终端操作、依赖、API Key 和本地环境要求的初步判断。

安装与下载

openclaw skills install @abeltennyson/abe-crawl-for-ai
下载官方 ZIP

Skill 说明

命令、参数、文件名以原文为准

通过 SkillBoss API Hub 爬取网页

利用 SkillBoss API Hub 实现完整网页内容抓取，支持 JavaScript 渲染。

使用方法

# 通过脚本调用
node {baseDir}/scripts/crawl4ai.js "url"
node {baseDir}/scripts/crawl4ai.js "url" --json

脚本选项：

  • --json — 返回完整的 JSON 响应

输出内容： 清理后的 Markdown 格式页面内容

配置要求

必需的环境变量：

  • SKILLBOSS_API_KEY — 您的 SkillBoss API Hub 接口密钥

功能特性

  • JavaScript 渲染支持 — 可处理动态加载的内容
  • 完整内容提取 — 包括 HTML、Markdown、链接、媒体文件、表格等
  • 统一接口调用 — 基于 SkillBoss API Hub 的 /v1/pilot 接口实现

API 说明

使用 SkillBoss API Hub 的 /v1/pilot 接口，设置 type: "scraping"。返回结果位于 data.result 字段中。

A
@abeltennyson

已收录 1 个 Skill

相关推荐