网站信息扫描器

全面的网站分析工具，可扫描域名并生成详细的技木报告。

使用场景

在需要以下操作时使用本技能：

• 分析网站的技术基础设施（IP、DNS、WHOIS）
• 审计网站内容与SEO表现
• 提取结构化数据（Schema.org JSON-LD）
• 检查 robots.txt、llms.txt、sitemap.xml 文件
• 对多个页面进行深度扫描
• 生成全面的网站报告

前置条件

必需系统工具

• dig - DNS 查询工具
• whois - WHOIS 查询工具

Python 依赖项

pip install requests beautifulsoup4 aiohttp

可选（用于深度扫描）

• Playwright（支持 JavaScript 渲染页面）

pip install playwright
playwright install chromium

使用方法

基础扫描

python3 scripts/scan.py example.com

深度扫描（按 sitemap 跟进）

python3 scripts/scan.py example.com --deep --max-pages 10

保存报告

python3 scripts/scan.py example.com --output report.json --markdown report.md

功能特性

1. 网络分析

• IP 解析：IPv4 和 IPv6 地址
• 地理位置：服务器位置、ASN、所属组织
• DNS 记录：A、AAAA、MX、NS、TXT、CNAME、SOA
• WHOIS 数据：注册商、创建/过期时间、状态

2. 内容分析

• 首页元数据：标题、描述、视口设置、字符集
• 标题结构：H1-H6 的分布情况
• 链接统计：内部链接与外部链接数量
• 图片分析：替代文本覆盖率
• 脚本与样式资源：资源数量统计

3. 结构化数据

• Schema.org JSON-LD：提取所有结构化数据模式
• Open Graph：元标签分析
• Twitter 卡片：社交媒体元数据

4. SEO 分析

• SEO 得分：0-100 分制评分
• 问题提示：缺失标签、优化不足等问题
• 改进建议：可执行的优化建议

5. 爬虫配置文件检查

• robots.txt：获取并解析内容
• llms.txt：AI/大模型相关指令
• sitemap.xml：解析 URL 结构

6. 第三方数据

• Google 索引状态：检查页面是否被索引（估算值）
• 服务器识别：技术栈识别

7. 深度扫描功能

• 自动跟随 sitemap 中的 URL
• 多页面分析
• 支持客户端渲染页面（需配合 Playwright）

输出格式

控制台输出

以人类可读的 Markdown 格式呈现报告，包含：

• IP 与网络信息
• DNS 记录摘要
• WHOIS 详情
• 内容统计数据
• SEO 得分与问题
• 第三方指标

JSON 导出

{
  "scan_info": {
    "url": "https://example.com",
    "domain": "example.com",
    "scan_date": "2026-04-02T10:00:00"
  },
  "ip_info": { ... },
  "dns_info": { ... },
  "whois_info": { ... },
  "content_analysis": { ... },
  "seo": { ... },
  ...
}

Markdown 导出

格式化的报告，适用于文档编写或分享。

使用示例

示例 1：快速扫描

python3 scripts/scan.py hugogu.cn

输出内容包括：

• IP 地址及地理位置
• DNS 配置信息
• WHOIS 注册信息
• 首页 SEO 分析

示例 2：完整审计

python3 scripts/scan.py hugogu.cn --deep --max-pages 20 \
  --output audit.json --markdown audit.md

执行全面分析，包括：

• 所有网络信息
• 深度页面爬取
• SEO 审计
• 结构化数据提取
• 完整报告导出

局限性

1. 请求频率限制：部分查询（如 WHOIS、DNS）可能受频率限制
2. JavaScript 渲染支持：基础扫描不执行 JavaScript（需使用 --deep 并配合 Playwright）
3. 第三方 API：流量估算需付费 API 密钥
4. Google 索引状态：仅提供估算结果（通过抓取搜索结果实现）

故障排查

“dig 命令未找到”

# Ubuntu/Debian
sudo apt-get install dnsutils

# macOS
brew install bind

# CentOS/RHEL
sudo yum install bind-utils

“whois 命令未找到”

# Ubuntu/Debian
sudo apt-get install whois

# macOS
brew install whois

DNS 解析失败

检查域名是否可达：

nslookup example.com
dig example.com

架构设计

┌─────────────────┐
│ WebsiteScanner  │
└────────┬────────┘
         │
    ┌────┴────┬──────────┬──────────┐
    │         │          │          │
┌───▼───┐ ┌──▼────┐ ┌───▼───┐ ┌───▼────┐
│ IP    │ │ DNS   │ │ WHOIS │ │ Content│
│Analyzer│ │Analyzer│ │Analyzer│ │Analyzer│
└───────┘ └───────┘ └───────┘ └───────┘
                                   │
                          ┌────────┼────────┐
                          │        │        │
                      ┌───▼───┐ ┌─▼────┐ ┌─▼────┐
                      │ SEO   │ │ JSON │ │ Deep │
                      │Analyzer│ │ -LD  │ │ Scan │
                      └───────┘ └──────┘ └──────┘

与 OpenClaw 集成

本技能可由 OpenClaw 调用，实现以下用途：

1. 扫描竞争对手网站
2. 审计自身站点
3. 研究域名基础设施
4. 生成技术文档

OpenClaw 工作流示例：

用户：“扫描 hugogu.cn，告诉我它的基础设施情况”
→ 执行扫描器
→ 分析结果
→ 生成摘要报告