xiaohongshu-research-kit
基于yt-dlp和gallery-dl提取小红书笔记、用户主页及话题内容的结构化数据。
下载 445
通过本地CLI抓取X平台关键词搜索结果,生成结构化新闻数据。
openclaw skills install @leeguooooo/x-news-crawler命令、参数、文件名以原文为准
使用此技能,运行一条命令即可获取结构化的 X 新闻 JSON 数据。
在执行任何爬取命令前,请先运行:
pnpm add -g agent-browser-stealth
pnpm approve-builds -g在爬取前,使用 CDP 启动 Chrome 浏览器并使用默认配置文件:
/Applications/Google\ Chrome.app/Contents/MacOS/Google\ Chrome --remote-debugging-port=9333请勿在该 Chrome 启动命令中使用 --user-data-dir 参数。
abs 命令。--mode hybrid:先获取 top 内容,再获取 latest 内容,最后按时间排序并去重。从项目根目录运行:
./bin/x-news-crawler --query "openclaw" --mode hybrid --since-hours 72 --limit 30 --output .tmp/openclaw-news.json快速探测命令:
./bin/x-news-crawler --query "openclaw" --mode top --limit 10
./bin/x-news-crawler --query "openclaw" --mode latest --since-hours 24 --limit 20
./bin/x-news-crawler --query "openclaw" --cdp 9333 --limit 20CLI 返回的 JSON 包含以下字段:
fetched_atquerymodecountwarnings[]failed_sources[]rows[],其中包含:source、datetime、status_url、user、text、replies、reposts、likestop 或 latest,否则优先选择 hybrid 模式。since-hours 保持在较小范围(24–168 小时),以避免获取过时内容。完整参数说明请参见 [cli.md](references/cli.md)。
已收录 3 个 Skill