Skillppx logo

Web scraping skill using Chrome + WebMCP

基于 Chrome + WebMCP 的网页抓取技能，适用于金融类网站数据采集。

已扫描
适合谁
金融数据分析人员、股票资讯采集者
不适合谁
无需网页抓取的普通用户、无网络环境或无法运行 Chrome 的用户
国内可用性
需网络配置。可能需要网络配置或第三方服务可访问。
安装难度
新手友好（★☆☆）。基于终端操作、依赖、API Key 和本地环境要求的初步判断。

安装与下载

openclaw skills install @sweihub/spider
下载官方 ZIP

Skill 说明

命令、参数、文件名以原文为准

Spider — 网页抓取工具

这是默认的网页抓取方式，替代了旧有的 web_fetch 方法。

触发条件

当用户说出以下关键词时使用此技能：

关键词动作
抓取 / crawl / scrape / fetch使用 Chrome + WebMCP 抓取网页
采集同上
获取...新闻抓取新闻页面
从...网站指定要抓取的网站
同花顺抓取同花顺（10jqka）数据
东方财富抓取东方财富数据
雪球抓取雪球数据
百度搜索或抓取百度内容

使用示例

用户输入执行动作
"抓取光库科技的新闻"在 Chrome 中打开同花顺页面，提取新闻内容
"抓取宁德时代的股吧"在 Chrome 中打开东方财富股吧页面
"从同花顺抓取xxx"在 Chrome 中打开同花顺对应页面
"search xxx"在 Chrome 中打开 Google 搜索页面
"查一下xxx"在 Chrome 中进行搜索或抓取操作

操作流程

1. 检查 Chrome 状态

{ action: "status" }

如果未运行，启动 Chrome：

{ action: "start" }

2. 打开目标页面

{ action: "open", targetUrl: "https://stockpage.10jqka.com.cn/300620/news/", target: "host" }

3. 获取页面快照

{ action: "snapshot", targetId: "xxx", maxChars: 20000 }

4. 页面交互（点击、输入等）

{ action: "act", targetId: "xxx", request: {"kind": "click", ref: "e33"} }

5. 清理：返回 about:blank

{ action: "navigate", targetId: "xxx", url: "about:blank" }

常见网站模板

同花顺股票新闻

URL: https://stockpage.10jqka.com.cn/{stock_code}/news/
示例：https://stockpage.10jqka.com.cn/300620/news/

东方财富股吧（股票论坛）

URL: https://guba.eastmoney.com/list,{stock_code}.html
示例：https://guba.eastmoney.com/list,300620.html

雪球（Xueqiu）

URL: https://xueqiu.com/S/SZ{stock_code}
示例：https://xueqiu.com/S/SZ300620

百度新闻搜索

URL: https://www.baidu.com/s?wd={keyword}&tn=news

Chrome 设置（一次性配置）

  1. 打开 Chrome 实验性功能设置：

- chrome://flags/#enable-experimental-web-platform-features → 启用

- chrome://flags/#enable-webmcp-testing → 启用

  1. 完全退出 Chrome（Mac 上使用 Cmd+Q），然后重新启动

重要规则

  1. **使用 target="host"**，不要使用 "sandbox"
  2. 每次任务完成后必须清理：

- 如果存在多个标签页，仅保留一个，关闭其他标签页

- 保留的标签页必须导航至 about:blank

- 如果存在多个 about:blank 标签页，仅保留最新一个，关闭其余

- 使用 browser action: tabs 检查当前标签页状态

- 清理后确保仅剩一个 about:blank 标签页

  1. 尽量复用已有标签页，避免频繁打开新标签页
  2. 处理反爬网站：同花顺、东方财富等需等待完整 JavaScript 加载完成

错误处理

错误解决方案
Sandbox 不可用改用 target="host"
页面加载过慢等待快照返回后再进行后续操作
内容提取失败增大 snapshot 的 maxChars 参数以获取更多内容
被反爬机制拦截尝试其他财经网站，或等待后重试

默认抓取优先级

  1. Spider（Chrome + WebMCP） ← 主要方法

- 适用场景：金融类网站、股票新闻、论坛

- 优势：支持完整 JavaScript 渲染，可交互

  1. web_fetch ← 备用方法

- 适用场景：简单的静态页面

- 缺点：无法处理 JavaScript 渲染的内容

S
@sweihub

已收录 1 个 Skill

相关推荐