共计 3340 个字符，预计需要花费 9 分钟才能阅读完成。
一、Prometheus 介绍
Prometheus（普罗米修斯）是一套开源的监控、报警、时间序列数据库的组合，起始是由 SoundCloud 公司开发的。随着发展，越来越多公司和组织接受采用 Prometheus，社会也十分活跃，他们便将它独立成开源项目，并且有公司来运作。Google SRE 的书内也曾提到跟他们 BorgMon 监控系统相似的实现是 Prometheus。现在最常见的 Kubernetes 容器管理系统中，通常会搭配 Prometheus 进行监控。
Prometheus 基本原理是通过 HTTP 协议周期性抓取被监控组件的状态，这样做的好处是任意组件只要提供 HTTP 接口就可以接入监控系统，不需要任何 SDK 或者其他的集成过程，这样做非常适合虚拟化环境。
组件说明
1.MetricServer：是 kubernetes 集群资源使用情况的聚合器，收集数据给 kubernetes 集群内使用，如
kubectl,hpa,scheduler 等。
2.PrometheusOperator：是一个系统监测和警报工具箱，用来存储监控数据。
3.NodeExporter：用于各 node 的关键度量指标状态数据。
4.KubeStateMetrics：收集 kubernetes 集群内资源对象数据，制定告警规则。
5.Prometheus：采用 pull 方式收集 apiserver，scheduler，controller-manager，kubelet 组件数据，通过 http 协议传输。
6.Grafana：是可视化数据统计和监控平台。
二、grafana 介绍
Grafana 是一个跨平台的开源的度量分析和可视化工具，可以通过将采集的数据查询然后可视化的展示，并及时通知。它主要有以下六大特点：
1、展示方式：快速灵活的客户端图表，面板插件有许多不同方式的可视化指标和日志，官方库中具有丰富的仪表盘插件，比如热图、折线图、图表等多种展示方式
2、数据源：Graphite，InfluxDB，OpenTSDB，Prometheus，Elasticsearch，CloudWatch 和 KairosDB 等
3、通知提醒：以可视方式定义最重要指标的警报规则，Grafana 将不断计算并发送通知，在数据达到阈值时通过 Slack、PagerDuty 等获得通知
4、混合展示：在同一图表中混合使用不同的数据源，可以基于每个查询指定数据源，甚至自定义数据源
5、注释：使用来自不同数据源的丰富事件注释图表，将鼠标悬停在事件上会显示完整的事件元数据和标记
6、过滤器：Ad-hoc 过滤器允许动态创建新的键 / 值过滤器，这些过滤器会自动应用于使用该数据源的所有查询。展示模版下载：https://grafana.com/grafana/dashboards
三、prometheus 部署
git 网站：https://github.com/coreos/kube-prometheus
mkdir prometheus
cd prometheus
git clone https://github.com/coreos/kube-prometheus.git
cd kube-prometheus
修改 grafana-service.yaml 文件，使用 nodepode 方式访问 grafana：vim manifests/grafana-service.yaml
apiVersion: v1
kind: Service
metadata:
labels:
app: grafana
name: grafana
namespace: monitoring
spec:
type: NodePort # 添加内容
ports:
- name: http
port: 3000
targetPort: http
nodePort: 30100 # 添加内容
selector:
app: grafana
修改 prometheus-service.yaml，改为 nodepode
vim manifests/prometheus-service.yaml
apiVersion: v1
kind: Service
metadata:
labels:
prometheus: k8s
name: prometheus-k8s
namespace: monitoring
spec:
type: NodePort # 添加内容
ports:
- name: web
port: 9090
targetPort: web
nodePort: 30200 # 添加内容
selector:
app: prometheus
prometheus: k8s
sessionAffinity: ClientIP
修改 alertmanager-service.yaml，改为 nodepode
vim manifests/alertmanager-service.yaml
apiVersion: v1
kind: Service
metadata:
labels:
alertmanager: main
name: alertmanager-main
namespace: monitoring
spec:
type: NodePort # 添加内容
ports:
- name: web
port: 9093
targetPort: web
nodePort: 30300 # 添加内容
selector:
alertmanager: main
app: alertmanager
sessionAffinity: ClientIP
kubectl apply -f manifests/setup
kubectl apply -f manifests/
kubectl get pod -n monitoring
kubectl get svc -n monitoring
稍等两分钟执行：kubectl top node
kubectl top pod
执行完成后查看一下状态，首先是 Pod：
在看下 SVC：
看下收集的 Node 的数据：
访问 prometheus
通过浏览器输入 Master IP：30200
我们可以在 status 下 Targets 里看到我们的节点状态：
显示 UP 状态 说明我们部署成功：
prometheus 的 WEB 界面上提供了基本的查询，查询条件如下：
1.POD 内存使用率
sum(container_memory_rss{container!="POD",container!="alermanager",image!="",pod!=""})by(pod) / sum(container_spec_memory_limit_bytes{container!="",container!="POD"})by(pod) * 100 != +inf
2.POD 的 CPU 使用率
sum(rate(container_cpu_usage_seconds_total{image!="",container!="POD",container!=""}[1m])) by (pod,namespace) / (sum(container_spec_cpu_quota{image!="",container!="POD",container!=""}/100000) by (pod,namespace)) * 100
3.POD 的文件系统使用量
sum(container_fs_usage_bytes{image!="",container!="POD",container!=""}) by(pod, namespace) / 1024 / 1024 / 1024
上述的查询有出现数据，说明 node-exporter 往 prometheus 中写入数据正常，接下来我们就可以部署 grafana 组件，实现更友好的 webui 展示数据了
访问 grafana
查看 grafana 服务暴露的端口号：
kubectl get service -n monitoring | grep grafana
grafana NodePort 10.109.190.229 <none> 3000:30100/TCP 28m
如上可以看到 grafana 的端口号是 30100，浏览器访问 http://MasterIP:30100 用户名密码默认 admin/admin
修改密码后登陆：
添加数据源
选择模版：
数据信息已经自动填好
测试完好
添加插件
这样我们的数据可以正常显示
