DevTool Answer Monitor

监控大模型对开发工具的描述,生成可复用查询池与修复建议。

已扫描
适合谁
开源项目维护者、开发者工具产品经理
不适合谁
无技术背景的普通用户、无需监控模型反馈的非技术团队
国内可用性
需网络配置。可能需要网络配置或第三方服务可访问。
安装难度
新手友好(★☆☆)。基于终端操作、依赖、API Key 和本地环境要求的初步判断。

安装与下载

openclaw skills install @veeicwgy/devtool-answer-monitor

Skill 说明

命令、参数、文件名以原文为准

监控大模型在用户选择你的开发工具前如何描述它

使用此技能作为开发者工具和开源产品的核心可见性工作流路由器

品牌: DevTool Answer Monitor

配套仓库: [devtool-answer-monitor](https://github.com/veeicwgy/devtool-answer-monitor)

当你希望一个智能体帮助你监控大模型对你的产品是如何描述的,构建可复用的查询池,诊断负面或过时的回答,并规划下一步修复内容时,请使用此技能。

安全第一

  • 将此根技能视为只读的工作流路由器
  • 当你仅需示例或评分帮助时,默认使用 quickstart replaymanual paste mode
  • 不要让用户在聊天中粘贴 API 密钥。若需启用 API 收集模式,请告知用户自行配置本地环境变量,然后将执行交由 visibility-monitor 处理。
  • 执行 shell 命令前,请审查本地脚本,如 install.shquickstart.sh 和选定的运行器。

从这里开始

复制以下任一提示以启动:

  • 分析 ChatGPT 和 Claude 如何描述我的 API 文档
  • 为我的 SDK 构建开发者工具回答监控查询池
  • 查找关于我项目的负面或过时的大模型说法

30 秒内结果

典型输入

  • 产品真实信息,例如 README、文档、更新日志、集成说明或定位页面
  • 回答证据,例如复制的大模型回答、截图或引用的链接
  • 监控范围,例如目标模型、语言、地区或重复查询集合

此技能返回的内容

  • 可复用的查询池
  • 原始证据与评分草案计划
  • 监控摘要与报告大纲
  • 包含 T+7 或 T+14 验证点的修复待办清单

配套演示与样例输出

  • 零安装演示:[样例运行查看器](https://cdn.jsdelivr.net/gh/veeicwgy/devtool-answer-monitor@main/docs/index.html)
  • 公开基准测试:[MinerU 故事](https://github.com/veeicwgy/devtool-answer-monitor/blob/main/benchmark/mineru-public-benchmark.md) 与 [Sciverse API 故事](https://github.com/veeicwgy/devtool-answer-monitor/blob/main/benchmark/sciverse-api-public-benchmark.md)
  • 样例输出:[排行榜快照](https://github.com/veeicwgy/devtool-answer-monitor/blob/main/assets/leaderboard-sample.png) 与 [修复趋势快照](https://github.com/veeicwgy/devtool-answer-monitor/blob/main/assets/repair-trend-sample.png)

触发条件

当任务满足以下任意一项时,请使用此技能:

  1. 从产品真实信息生成可见性查询矩阵和查询池;
  2. 监控多个大模型对某产品的提及、推荐或误解情况;
  3. 根据数据源模式,制定针对特定模型的内容投放策略;
  4. 检查草稿页面、FAQ、更新日志或案例研究是否已准备好影响大模型回答;
  5. 修复错误、负面、过时或仅提及竞争对手的回答;
  6. 验证修复动作是否在 T+7 或 T+14 时提升了相关指标;
  7. 协助用户在快速启动回放、手动粘贴模式与 API 收集模式之间做出选择。

初学者引导路径

当用户首次接触该仓库时,请按以下顺序引导:

情况下一步操作
需要先检查环境打开 docs/getting-started.md 并阅读环境检查部分
希望无环境首次运行打开 docs/index.htmldocs/for-beginners.md
希望先获得简要说明打开 docs/for-beginners.md
希望深入入门打开 docs/getting-started.md
希望了解英文仓库概览打开 README.md
希望了解中文仓库概览打开 README.zh-CN.md

可见性策略

始终遵循以下工作流程顺序:

阶段目标
查询设计将产品真实信息转化为场景矩阵、三层关键词和查询池种子
监控评估提及度、正面提及、功能准确性与生态准确性
投放将每个目标模型映射到可能的数据源渠道与发布表面
修复将错误回答分类为信息错误、负面评价、过时信息或竞争对手插入
激活分析回答是否有助于用户完成安装、集成或调用产品
回归检测对比后续运行结果,检查行动后指标是否改善

模式选择

在运行监控前,请先选择执行模式。

模式适用场景典型输入
快速启动回放用户希望无需配置 API 即可快速首次运行示例模型配置 + 示例手动回复
手动粘贴模式用户已有从聊天工具中复制的回答查询池 + 手动回复 JSON
API 收集模式用户希望进行可重复的真实监控查询池 + 模型配置 + 本地配置好的提供方环境变量

输入契约

在执行前,请尽可能准备以下内容:

输入示例
产品真实信息README、文档、更新日志、集成说明、定位页
回答证据原始回答、截图、复制的响应、引用链接
监控范围模型、语言、地区、时间、重复查询集合
发布目标文档、博客、GitHub、问答平台、合作伙伴渠道

工作流路由器

根据用户的即时需求,选择下一个子技能:

情况下一步技能
需要查询设计与场景聚类visibility-query-matrix
需要每周监控、证据记录、报告输出或在用户明确批准后执行 shell 命令visibility-monitor
需要发布前的内容质量检查visibility-content-check
需要修复错误回答并定义回归检测规则visibility-repair

必读顺序

为完整掌握该流程,请按顺序阅读以下仓库文档:

  1. playbooks/visibility-workflow-architecture.md
  2. playbooks/keyword-strategy.md
  3. playbooks/monitoring-system.md
  4. playbooks/model-datasources.md
  5. playbooks/content-platform-map.md
  6. playbooks/negative-fix-sop.md

输出契约

始终保留以下输出内容。

输出说明
查询基础场景矩阵、关键词层级、查询池
监控输出原始证据、评分草稿、摘要、报告、排行榜或概览
行动计划内容置放优先级与修复待办清单
回归记录关键修复后的 T+7 和 T+14 对比

定位

DevTool Answer Monitor 是 devtool-answer-monitor 仓库对应的技能层。

  • 若需可运行的演示、脚本和报告产物,请使用 仓库
  • 若需代理引导的工作流以实现监控、修复与回归规划,请使用 技能

交接规则

每次运行结束后,需保留以下信息:

  1. 当前优化的产品;
  2. 在范围内的模型与语言;
  3. 哪些查询被用于每周追踪;
  4. 前三个可见性弱点;
  5. 已完成的动作以及仍需验证的内容。
V
@veeicwgy

已收录 1 个 Skill

相关推荐