实战与生产

10.1 kube-prometheus-stack 一键部署

在 Kubernetes 上手搓 Prometheus 太累。社区的 kube-prometheus-stack（Helm Chart）打包了 Prometheus Operator、Prometheus、Alertmanager、Grafana、node-exporter、kube-state-metrics 与一整套预置告警规则和看板。

$ helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
$ helm repo update
$ helm install kps prometheus-community/kube-prometheus-stack \
    -n monitoring --create-namespace \
    --set grafana.adminPassword='ChangeMe!' \
    --set prometheus.prometheusSpec.retention=15d

Prometheus Operator

用 CRD 声明式管理 Prometheus：你写 CR，Operator 自动生成/热更配置。

ServiceMonitor

CRD，声明"抓哪个 Service 的哪个端口的 /metrics"，Operator 据此自动加抓取目标。

PodMonitor

类似 ServiceMonitor，但直接按 Pod 标签选择目标。

PrometheusRule

CRD，声明告警规则与 recording rule，替代手写 rule_files。

kube-state-metrics

把 K8s API 对象状态（Deployment 副本、Pod 阶段、Node 状态）暴露成指标。

10.2 用 ServiceMonitor 接入你的微服务

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: order-service
  namespace: monitoring
  labels:
    release: kps          # 必须匹配 Prometheus 的 selector
spec:
  selector:
    matchLabels:
      app: order          # 选中带此标签的 Service
  namespaceSelector:
    matchNames: ["prod"]
  endpoints:
    - port: metrics       # Service 里命名的端口
      interval: 15s
      path: /metrics

10.3 SLO 与错误预算

与其零散地对 CPU/内存告警，不如用 SLO（服务等级目标）面向用户体验来定义健康。

SLI 服务等级指标

可量化的用户体验度量，如"成功请求占比"、"P99 延迟 < 300ms 占比"。

SLO 服务等级目标

对 SLI 设定的目标，如"30 天内成功率 ≥ 99.9%"。

Error Budget 错误预算

1 - SLO = 允许失败的额度（99.9% 即每 30 天约 43 分钟）。预算耗尽应冻结发布、优先稳定性。

Burn Rate 燃烧率

错误预算的消耗速度。多窗口多燃烧率告警（快窗口抓突发、慢窗口抓缓慢劣化）是 SRE 推荐做法。

# 30 天成功率 SLI
sum(rate(http_requests_total{status!~"5.."}[30d]))
/
sum(rate(http_requests_total[30d]))

# 快速燃烧告警：1h 内消耗预算 > 14.4 倍（约 2 天烧光月预算）
- alert: ErrorBudgetBurnFast
  expr: |
    (1 - sum(rate(http_requests_total{status!~"5.."}[1h]))
       / sum(rate(http_requests_total[1h]))) > (14.4 * 0.001)
  for: 2m
  labels: { severity: critical }

10.4 告警最佳实践回顾

• 基于用户症状（SLO 燃烧率）告警，少告零散原因指标。
• 每条告警可行动、分级明确（critical 电话 / warning 工作时间）。
• 用 for + 多窗口燃烧率抗抖动，避免告警疲劳。
• 关键 meta 告警：up == 0（目标下线）、Watchdog（常亮心跳，验证链路本身活着）。

10.5 上线部署 checklist

10.6 全书总结

从可观测性概念到生产落地，你已经走完 Prometheus 的完整链路：

• 模型：pull 采集 + 多维时间序列 + 四种指标类型。
• 查询：PromQL 的 rate/聚合/分位数，是一切告警与看板的基础。
• 采集：服务发现 + relabel 管目标，Exporter 与 client library 管数据来源。
• 行动：Alertmanager 告警 + Grafana 可视化。
• 规模：remote_write + Thanos/VM/Mimir 解决长期与高可用；SLO 让监控对齐用户价值。