Skillppx logo

Safe Smart Web Fetch

智能判断网页是否敏感，优先本地抓取，保障安全。

已扫描
适合谁
需要安全抓取网页内容的技术人员、关注数据隐私与安全的自动化流程开发者
不适合谁
无需安全防护的普通网页浏览用户、希望直接调用第三方清洗服务的非敏感场景使用者
国内可用性
需网络配置。可能需要网络配置或第三方服务可访问。
安装难度
新手友好（★☆☆）。基于终端操作、依赖、API Key 和本地环境要求的初步判断。

安装与下载

openclaw skills install @zqh2333/safe-smart-web-fetch
下载官方 ZIP

Skill 说明

命令、参数、文件名以原文为准

Safe Smart Web Fetch

用于安全地获取网页内容。

规则

先判断目标 URL：

一律禁止走第三方清洗的情况

  • URL query 或 fragment 中带明显 token / key / signature / auth / session / code 参数
  • localhost / 127.0.0.1 / 10.x / 172.16-31.x / 192.168.x / .local / 内网主机名
  • 明显私密页面：带登录态回调、管理后台、分享密钥、重置链接、单次授权链接等
  • 非 http/https URL

以上情况：

  • 只允许本地直接抓取
  • 不发送到 Jina / markdown.new / defuddle.md

可走第三方清洗的情况

  • 普通公开网页
  • 不含敏感 query 参数
  • 非内网/本地地址

第三方顺序：

  1. Jina Reader
  2. markdown.new
  3. defuddle.md
  4. 原始抓取回退

用法

python3 {baseDir}/scripts/fetch.py "https://example.com/article"
python3 {baseDir}/scripts/fetch.py "https://example.com/article" --json

输出

JSON 模式会返回：

  • success
  • url
  • content
  • source
  • used_third_party
  • blocked_reason
  • error

注意

  • 这是公开网页优先清洗、敏感链接严格本地抓取的安全版本
  • 不修改 OpenClaw 全局工具配置
  • 不强制禁用内置 web_fetch
Z
@zqh2333

已收录 1 个 Skill

相关推荐