Bright Data 研究技能

由 Bright Data MCP 驱动的高级网络研究功能，支持市场分析、竞争情报、数据提取和全面的网络研究，并具备反机器人保护能力。

概述

该技能提供使用 Bright Data MCP 进行自动化网络研究的完整工作流程。支持搜索发现、内容收集、结构化数据提取以及综合分析，同时兼容浏览器自动化。

适用场景

当用户请求涉及以下内容时，请激活此技能：

• 网络爬取与数据收集
• 市场调研与竞争分析
• 价格监控与比价
• 产品信息提取
• 搜索引擎结果分析
• 大规模网络数据采集
• 需要反机器人保护的研究任务

核心能力

搜索与发现

使用 search_engine 工具查找相关来源：

{
  "tool": "search_engine",
  "parameters": {
    "query": "site:etsy.com nba merchandise",
    "engine": "google",
    "cursor": "0"
  }
}

搜索策略：

• 使用站点限定符："site:etsy.com 关键词"
• 使用精确短语："机器学习在医疗中的应用"
• 排除特定词汇："iphone -case -cover"
• 分页获取结果：通过 cursor 参数实现分页（如 "0"、"1"、"2"）

内容收集

根据研究深度选择三种收集模式：

快速模式（3-5 个 URL，串行处理）：

• 对每个 URL 使用 scrape_as_markdown
• 适用于：快速概览、事实核查

标准模式（10-20 个 URL，并行批量处理）：

• 使用 scrape_batch 同时处理最多 10 个 URL
• 适用于：市场研究、竞争分析

深度模式（20-50 个 URL，浏览器自动化）：

• 使用 scraping_browser_navigate 处理 JavaScript 渲染页面
• 使用 scraping_browser_links 发现页面链接
• 使用 scraping_browser_click 执行交互操作
• 适用于：动态内容、多页面数据提取

数据提取

使用 extract 工具进行 AI 驱动的结构化数据提取：

{
  "tool": "extract",
  "parameters": {
    "url": "https://example.com/product",
    "extraction_prompt": "提取：商品名称、价格（数字）、评分（0-5）、评论数量、卖家名称、库存状态"
  }
}

常见提取模板：

• 电商类：名称、价格、评分、评论数、卖家、库存状态
• 文章类：标题、作者、日期、摘要、关键要点
• 公司类：名称、所属行业、成立时间、总部位置、员工数量

输出格式

针对不同使用场景提供三种报告格式：

报告格式（默认）：

• 执行摘要
• 带证据的关键发现
• 详细分析
• 方法论与建议
• 来源引用

JSON 格式：

• 用于 API 集成的结构化数据
• 所有原始与处理后的数据
• 元数据与数据溯源信息
• 统计分析结果

Markdown 格式：

• 清晰易读的内容
• 表格与列表形式
• 包含来源链接
• 最小化格式修饰

研究工作流程

第一阶段：查询分析

理解研究意图：

• 范围：研究应覆盖多广或多深？
• 关键实体：涉及的产品、公司、主题
• 目标来源：哪些网站或平台？
• 所需数据：需要提取哪些字段？

第二阶段：来源发现

使用 search_engine 查找目标 URL：

1. 执行初始搜索
2. 从搜索引擎结果页（SERP）提取链接
3. 过滤无关域名
4. 必要时进行分页
5. 按相关性优先排序

第三阶段：内容收集

选择合适的收集模式：

• 快速模式：对每个 URL 使用 scrape_as_markdown
• 标准模式：使用 scrape_batch 并行处理 10 个 URL
• 深度模式：结合 scraping_browser_navigate 及其他浏览器工具

错误处理机制：

• 对失败的 URL 尝试重试并更换方法
• 记录错误以保证透明性
• 在可用数据范围内继续执行

第四阶段：数据提取

应用提取模板：

• 使用 extract 工具并自定义提示语
• 验证提取的数据质量
• 处理缺失或格式异常的数据
• 确保数据准确性

第五阶段：分析与整合

数据处理与分析：

• 清洗与标准化数据
• 执行统计分析
• 识别模式与趋势
• 多源交叉验证
• 验证结论可靠性

第六阶段：报告生成

输出最终成果：

• 报告格式：包含所有部分的完整文档
• JSON 格式：结构化数据，便于程序处理
• Markdown 格式：清晰可读的内容，适合阅读与分享

最佳实践

搜索策略

• 从宽泛开始，逐步缩小范围
• 使用站点限定符实现精准搜索
• 必要时尝试多个搜索引擎
• 设置合理上限（通常 10-20 个 URL 已足够）

性能优化

• 使用 scrape_batch 实现并行处理（效率提升约 10 倍）
• 仅在必要时使用 deep 模式（速度较慢）
• 设置合理的超时时间
• 监控成功率
• 避免令牌限制：对于大型页面（如 Etsy、Amazon），每次批量处理 1-2 个 URL

数据质量

• 始终验证提取的数据
• 多源交叉比对
• 检查异常值与偏差
• 统一格式（日期、货币、单位等）

错误处理

• 实现重试逻辑
• 准备备用方案
• 记录错误日志以便调试
• 单个 URL 失败不应导致整体中断

伦理规范

• 尊重 robots.txt 规则
• 不过度请求服务器
• 设置合理的请求频率限制
• 正确标注数据来源
• 不滥用个人数据

常见研究场景

电商平台市场调研

查询： "site:etsy.com nba merchandise"
模式： 标准
提取： 商品名称、价格、评分、评论数、卖家
输出： 报告

预期结果： 价格分析、热门商品、头部卖家情况

价格对比分析

查询： "iphone 15 pro max 256GB price comparison"
模式： 标准
提取： 商家、价格、库存状态、配送方式
输出： json

预期结果： 结构化比价数据，自动识别最优购买选项

学术研究

查询： "machine learning in healthcare 2024 papers"
模式： 标准
提取： 标题、作者、发表日期、核心发现、研究方法
输出： 报告

预期结果： 文献综述，涵盖最新趋势与研究洞察

竞争情报分析

markdown

查询: "competitor.com features pricing"

模式: deep

提取字段: 功能名称、描述、定价层级、可用性

输出格式: 报告

预期结果: 功能对比分析、定价策略分析、优化建议

工具参考

search_engine

用途: 搜索相关网页

参数: query（必填）、engine（google/bing/yandex）、cursor（页码）

返回: SERP 结果（Markdown 格式）

scrape_as_markdown

用途: 获取干净、适合 AI 处理的 Markdown 内容

参数: url（必填）

返回: 去除广告/干扰内容后的格式化 Markdown

scrape_as_html

用途: 获取原始 HTML 内容

参数: url（必填）

返回: 完整的 HTML 文档

extract

用途: 基于 AI 的结构化数据提取

参数: url（必填）、extraction_prompt（可选）

返回: 包含提取数据的 JSON 对象

scrape_batch

用途: 并行处理多个 URL

参数: urls（数组，最多 10 个）

返回: 页面内容数组

scraping_browser_navigate

用途: 导航 JavaScript 渲染页面

参数: url（必填）

返回: 页面信息（标题、URL、状态）

scraping_browser_click

用途: 点击页面元素

参数: selector（CSS 选择器）

返回: 操作结果

scraping_browser_links

用途: 获取当前页面所有链接

参数: 无

返回: 包含文本、href、选择器的链接数组

故障排查

无搜索结果

• 尝试更换搜索引擎（bing、yandex）
• 简化查询关键词
• 检查拼写错误
• 使用更宽泛的搜索词

抓取失败

• 目标 URL 可能为 JavaScript 渲染 → 使用 mode=deep
• URL 可能被屏蔽 → 尝试备用 URL
• 在浏览器中检查 URL 是否可访问

数据提取不完整

• 提供更具体的提取提示（extraction_prompt）
• 确认目标数据确实存在于页面中
• 先尝试以 markdown 方式抓取，查看内容是否可见

性能缓慢

• 减少 max_results 数量
• 改用 mode=standard 而非 deep
• 检查网络连接状况
• 关闭不必要的浏览器会话

Token 数量超限

• 症状: “输出超出允许的最大 token 数量” 错误
• 原因: 同时批量抓取过多大页面，或读取过大的文件
• 设置此限制的原因:

- 内存保护: 防止加载过多内容导致内存溢出

- 性能优化: 保证响应速度

- 上下文管理: 为对话中的其他内容保留空间

- 系统稳定性: 防止崩溃或错误

• 能否提高该限制？

- 否 —— 此为 Claude Code 中的硬性系统限制

- 无法通过配置文件修改

- 目的: 保障系统稳定性和性能

• 应对方案:

- 针对抓取: 将批量大小减少至 1–2 个 URL，尤其针对大页面

- 针对读取文件: 使用 Read 命令配合 offset 和 limit 分块读取

- 针对特定内容: 使用 Grep 搜索特定模式

- 针对查找文件: 使用 Glob 按模式匹配文件

额外资源

参考文件

获取详细工作流与技术方法：

• **references/search-discovery.md** - 搜索策略与 URL 发现技巧
• **references/content-scraping.md** - 内容采集方法
• **references/data-extraction.md** - 数据提取模板与验证规则
• **references/deep-scraping.md** - 浏览器自动化技术
• **references/analysis-report.md** - 分析与报告生成指南

示例文件

完整的调研案例：

• **examples/market-research-etsy-nba.md** - 电商平台市场研究
• **examples/competitive-analysis-pricing.md** - 定价对比工作流程
• **examples/academic-research-ml-healthcare.md** - 学术文献综述

限制条件

• 需配置 Bright Data MCP 服务器
• 需提供有效的 Bright Data API Token
• 受 API 请求频率限制
• 浏览器自动化速度慢于直接抓取
• 部分网站仍可能阻止访问
• 结果质量取决于源内容质量

渐进式披露

本 SKILL.md 提供核心工作流与快速参考（约 2,000 字）。

如需了解详细的实现模式、高级技巧与完整示例，请查阅 references/ 目录下的文件，这些文件将在研究任务中按需加载。