Helm安装Prometheus Operator

发布时间:2020-09-28 11:09:43编辑:admin阅读(208)

    一、概述

    使用 helm 安装 Prometheus Operator。使用 helm 安装后,会在 Kubernetes 集群中创建、配置和管理 Prometheus 集群,chart 中包含多种组件:

     

     

    架构

    Prometheus Operator 架构图如下:

    1.png

     

    上面架构图中,各组件以不同的方式运行在 Kubernetes 集群中:

    • Operator: 根据自定义资源(Custom Resource Definition / CRDs)来部署和管理 Prometheus Server,同时监控这些自定义资源事件的变化来做相应的处理,是整个系统的控制中心。

    • Prometheus:声明 Prometheus deployment 期望的状态,Operator 确保这个 deployment 运行时一直与定义保持一致。

    • Prometheus Server: Operator 根据自定义资源 Prometheus 类型中定义的内容而部署的 Prometheus Server 集群,这些自定义资源可以看作是用来管理 Prometheus Server 集群的 StatefulSets 资源。

    • ServiceMonitor:声明指定监控的服务,描述了一组被 Prometheus 监控的目标列表。该资源通过 Labels 来选取对应的 Service Endpoint,让 Prometheus Server 通过选取的 Service 来获取 Metrics 信息。

    • Service:简单的说就是 Prometheus 监控的对象。

    • Alertmanager:定义 AlertManager deployment 期望的状态,Operator 确保这个 deployment 运行时一直与定义保持一致。

    二、安装

    环境说明

    操作系统:centos 7.6

    ip地址:192.168.31.148

    k8s版本:v1.16.3

    主机名:k8s-master

    配置:2核4g

    helm:v2.16.6

     

    操作系统:centos 7.6

    ip地址:192.168.31.179

    k8s版本:v1.16.3

    主机名:k8s-node01

    配置:4核8g

     

    安装

    Prometheus Operator 所有的组件都打包成 Helm Chart,安装部署非常方便。

    helm install --name prometheus-operator --set rbacEnable=true --namespace=monitoring stable/prometheus-operator

     

    查看资源


    --


     

    查看状态


    # kubectl get pod -n monitoring
    NAME                                                          READY   STATUS    RESTARTS   AGE
    pod/alertmanager-prometheus-operator-alertmanager-0           2/2     Running   0          98m
    pod/prometheus-operator-grafana-857dfc5fc8-vdnff              2/2     Running   0          99m
    pod/prometheus-operator-kube-state-metrics-66b4c95cd9-mz8nt   1/1     Running   0          99m
    pod/prometheus-operator-operator-56964458-8sspk               2/2     Running   0          99m
    pod/prometheus-operator-prometheus-node-exporter-dcf5p        1/1     Running   0          99m
    pod/prometheus-operator-prometheus-node-exporter-nv6ph        1/1     Running   0          99m
    pod/prometheus-prometheus-operator-prometheus-0               3/3     Running   1          98m


    确保pod状态运行正常

     

    方法1:修改访问类型为NodePort

    将type类型值改为NodePort

    kubectl edit svc prometheus-operator-grafana -n monitoring    
    kubectl edit svc prometheus-operator-alertmanager -n monitoring   
    kubectl edit svc prometheus-operator-prometheus -n monitoring

     

    查看修改后的访问类型


    # kubectl get svc -n monitoring
    NAME                                           TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)                      AGE
    alertmanager-operated                          ClusterIP   None           <none>        9093/TCP,9094/TCP,9094/UDP   100m
    prometheus-operated                            ClusterIP   None           <none>        9090/TCP                     100m
    prometheus-operator-alertmanager               NodePort    10.1.238.78    <none>        9093:31765/TCP               102mprometheus-operator-grafana                    NodePort    10.1.125.228   <none>        80:30284/TCP                 102mprometheus-operator-kube-state-metrics         ClusterIP   10.1.187.129   <none>        8080/TCP                     102m
    prometheus-operator-operator                   ClusterIP   10.1.242.61    <none>        8080/TCP,443/TCP             102m
    prometheus-operator-prometheus                 NodePort    10.1.156.181   <none>        9090:30268/TCP               102m
    prometheus-operator-prometheus-node-exporter   ClusterIP   10.1.226.134   <none>        9100/TCP                     102m


     

    修改 kubelet 打开只读端口

    prometheus 需要访问 kubelet 的 10255 端口获取 metrics。但是默认情况下 10255 端口是不开放的,会导致 prometheus 上有 unhealthy。打开只读端口需要编辑所有节点的vi /var/lib/kubelet/config.yaml (我这里有图形界面可以用gedit命令)文件,加入以下内容

    port: 10250
    readOnlyPort: 10255          #增加此行

    重启 kubelet 服务

    systemctl restart kubelet.service

     

    查看grafana随机端口

    # kubectl get svc -n monitoring|grep grafana
    prometheus-operator-grafana                    NodePort    10.1.125.228   <none>        80:30284/TCP                 106m

    可以看到,它的随机端口为:30284

     

    访问grafana,地址为:http://nodeip:30284/

    默认的用户名/密码为:admin/prom-operator,登陆后,点击Manage,如下图:

    1.png

     

     

    效果如下:

    1.png

     

     

    方法2:通过 Ingress 来暴漏服务 

    安装Ingress

    kubectl apply -f https://kuboard.cn/install-script/v1.17.x/nginx-ingress.yaml

     

    新建文件prometheus-ingress.yaml:

    apiVersion: extensions/v1beta1
    kind: Ingress
    metadata:
      namespace: monitoring
      name: prometheus-ingress
    spec:
      rules:
      - host: grafana.domain.com
        http:
          paths:
          - backend:
              serviceName: prometheus-operator-grafana 
              servicePort: 80
      - host: prometheus.domain.com
        http:
          paths:
          - backend:
              serviceName: prometheus-operator-prometheus
              servicePort: 9090
      - host: alertmanager.domain.com
        http:
          paths:
          - backend:
              serviceName: prometheus-operator-alertmanager
              servicePort: 9093

     

    执行命令

    kubectl apply -f prometheus-ingress.yaml

     

    修改hosts文件:

    192.168.31.179 grafana.domain.com
    192.168.31.179 prometheus.domain.com
    192.168.31.179 alertmanager.domain.com

    注意:192.168.31.179 是Node节点ip

     

    访问以下几个url,是否正常。

    http://grafana.domain.com
    http://prometheus.domain.com
    http://alertmanager.domain.com

     

    效果如下:

    1.png

     

     1.png

     

     1.png

     

     

    三、修改k8s配置

    Prometheus Operator某些图表没有数据,需要修改配置文件才行。

    etcd

    prometheus 通过 4001 端口访问 etcd metrics,但是 etcd 默认监听 2379。解决方法是在 /etc/kubernetes/manifests/etcd.yaml


    增加k8s-app: etcd-server

    apiVersion: v1
    kind: Pod
    metadata:
      creationTimestamp: null
      labels:
        k8s-app: etcd-server
        component: etcd
        tier: control-plane

    重启kubelet

    systemctl restart kubelet.service

     

    注意:经验证,此方法无效。etcd依然没有图表数据。

     

    kube-controller-manager

    由于 kube-controller-manager 和 kube-scheduler 默认监听 127.0.0.1 ,prometheus 无法通过本机地址获取数据,需要修改kube-controller-manager 和 kube-scheduler 监听地址。

    解决办法如下:/etc/kubernetes/manifests/kube-controller-manager.yaml 增加 k8s-app: kube-controller-manager

    apiVersion: v1
    kind: Pod
    metadata:
      creationTimestamp: null
      labels:
        k8s-app: kube-controller-manager
        component: kube-controller-manager
        tier: control-plane

    重启kubelet

    systemctl restart kubelet.service

     

    访问图表

    1.png

     

     

     

    kube-scheduler

    /etc/kubernetes/manifests/kube-scheduler.yaml增加 k8s-app: kube-scheduler

    apiVersion: v1
    kind: Pod
    metadata:
      creationTimestamp: null
      labels:
        k8s-app: kube-scheduler
        component: kube-scheduler
        tier: control-plane

    重启kubelet

    systemctl restart kubelet.service

     

    访问图表

    1.png

     

     

    本文参考链接:

    https://www.cnblogs.com/majiang/p/11431577.html

    https://blog.csdn.net/choerodon/article/details/98587027


关键字

上一篇: docker搭建elasticsearch集群

下一篇: 初识Pandas