可观测性 AIops（预览版）

免责声明：本项目为社区维护的开源项目，与 Prometheus、Grafana 项目、Grafana Labs 或 CNCF 无关联、未获其认可或赞助。Prometheus、Alertmanager 和 Grafana 均为其各自所有者的商标。源代码位于 [github.com/AIops-tools/Observability-AIops](https://github.com/AIops-tools/Observability-AIops)，采用 MIT 许可证。

自托管可观测性运维 —— 涵盖 30 个 MCP 工具，覆盖

Prometheus（HTTP API + PromQL）、Alertmanager（告警与静默）和

Grafana（仪表盘、数据源、文件夹），每个工具均通过内置的 @governed_tool 框架封装：

本地统一审计日志存于 ~/.observability-aiops/，配备策略引擎、令牌/超额预算防护、撤销令牌记录以及分级自主风险等级。单个配置即可贯穿整个技术栈。Bearer Token 以加密形式存储（~/.observability-aiops/secrets.enc，使用 Fernet + scrypt 加密）—— 磁盘上永不以明文保存。

这是企业级监控套件在自托管可观测性场景下的补充方案：它使用 SRE 实际运行的开放 Prometheus/Grafana API。

独立运行：治理框架已打包在发行包中（observability_aiops.governance）—— 无需外部技能依赖。

预览 / 仅模拟模式：Prometheus 与 Grafana 为免费开源软件，实验室环境中极易部署，因此执行 doctor 检查非常简单。

该技能的功能

三大核心分析功能采用透明启发式算法并公开其计算结果：

• firing_alert_rca 将每个触发的告警与其规则表达式关联，映射出可能原因及建议操作；
• target_scrape_health_analysis 对异常或失败的抓取目标进行排序，并对每个 lastError 进行分类（如连接拒绝、超时、认证失败、DNS、TLS 等）；
• alert_noise_and_flap_analysis 识别噪声或重复告警，推荐去重、聚合或延长 for 时间。

快速安装

uv tool install observability-aiops
observability-aiops init       # 向导：选择平台（prometheus/grafana）+ 加密令牌
observability-aiops doctor

适用场景

• 获取快照（overview / observability_overview）：当前触发告警数、抓取目标上下状态、规则错误情况（Prometheus），或仪表盘/数据源数量（Grafana）
• 执行 PromQL 查询（instant_query / range_query），枚举 label_values 或 series_metadata
• 检查抓取健康状况（target_scrape_health, dropped_targets）和规则健康（rule_health, list_rules）
• 告警排错：使用 firing_alerts / pending_alerts，查看 Alertmanager 视图（alertmanager_alerts, list_silences），再通过 firing_alert_rca 定位根本原因
• 降低告警噪音：使用 alert_noise_and_flap_analysis → 推荐按 group_by 分组、启用抑制机制或延长 for 时间
• Grafana 操作：list_dashboards, get_dashboard, list_datasources, datasource_health, list_folders
• 受控写操作：创建告警静默（create_silence，带时间限制）、添加事件注释（create_annotation）、更新或删除仪表盘（支持预演 + 审批流程），或热重载 Prometheus 配置（reload_prometheus_config）

不建议使用的情况：目标系统非 Prometheus/Grafana 可观测性栈 —— 请将虚拟化、存储、备份、容器编排、网络设备配置、工业物联网（OT）等任务交由其他合适的 AIops-tools 技能处理。托管型/SaaS 监控服务（如 Datadog、New Relic、企业级 NMS）不在本工具支持范围内。

相关技能 —— 技能路由

常见工作流

根因分析触发的告警

1. 执行 firing_alerts → 查看当前触发的告警，按严重性分组
2. 执行 firing_alert_rca → 将每个触发告警与其规则表达式关联，给出可能原因及建议操作（启发式建议，需结合日志验证）
3. 在修复前临时静默干扰：使用 create_silence（设置时间范围）匹配特定告警

调查抓取中断问题

1. 执行 target_scrape_health → 获取上下状态统计及异常目标列表
2. 执行 target_scrape_health_analysis → 异常目标排序，每个 lastError 分类（如连接拒绝、超时、认证失败、DNS、TLS），并提供修复建议
3. 若目标完全缺失，检查 dropped_targets（可能被标签重写移除）

处理频繁告警问题

1. 执行 alert_noise_and_flap_analysis → 识别多实例或完全重复的告警，每项提供 group_by、抑制规则或延长 for 时间的建议
2. 使用 list_silences / create_silence 临时关闭相关告警

安全地修改 Grafana 仪表盘（可逆操作）

• 使用 update_dashboard 时默认启用预演模式，确保变更安全
• 删除仪表盘前需经过审批流程，支持撤销操作
• 所有变更记录在本地审计日志中，便于追溯

Observability AIOPS

基本操作

1. get_dashboard <uid> → 确认目标仪表板
2. update_dashboard <model> —— 会获取并保存之前的模型，同时记录一个可撤销的恢复操作；或使用 delete_dashboard <uid> --dry-run → 预览效果
3. 取消 --dry-run 参数后执行（高风险删除操作需设置 OBSERVABILITY_AUDIT_APPROVED_BY 和 OBSERVABILITY_AUDIT_RATIONALE）—— 删除前会捕获原始模型，以便通过记录的撤销操作重新创建

治理与安全

• 所有工具操作均被审计并记录至 ~/.observability-aiops/audit.db（可通过 OBSERVABILITY_AIOPS_HOME 环境变量指定其他路径）。
• 高风险操作（如 delete_dashboard）可要求指定审批人：设置 OBSERVABILITY_AUDIT_APPROVED_BY 和 OBSERVABILITY_AUDIT_RATIONALE。
• 所有写入操作支持 dry_run 模式；破坏性操作额外增加审批校验。
• 静默规则（silences）必须设置有效持续时间（即时间范围不可为空）。可逆操作会保存操作前的真实状态，并记录对应的反向描述（如 create_silence → expire，update/delete dashboard → restore/recreate）。

参考资料

• references/capabilities.md —— 工具、平台及 API 路径完整参考
• references/cli-reference.md —— CLI 命令参考
• references/setup-guide.md —— 上手指南、凭证配置与连接说明