clickhouse 20.x 与prometheus + grafana+ckman的集成(三)

大数据 创建于:2023-05-27

标签(空测试用例格分隔):clickhouse 系列


一:clickhouse 监控集成

1.1:clickhouse 与grafana 的集成

为grafana加载 支持的clickhouse 的监控 可以查看官网:

https://grafana.com/grafana/plugins/vertamedia-clickhouse-datasource/?tab=installation

插件安装:
     grafana-cli plugins install vertamedia-clickhouse-datasource
从新启动:grafana
    service grafana-server restart 

image.png image.png

1.2:配置grafana 的dashboard

image.png image.png image.png image.png image.png image.png image.png image.png

image.png image.png

1.2 clickhouse 集成prometheus

vim /etc/clickhouse-server/config.xml 
------
# 将下面内容的注释打开
<prometheus>
   <endpoint>/metrics</endpoint>
   <port>9363</port>

   <metrics>true</metrics>
   <events>true</events>
   <asynchronous_metrics>true</asynchronous_metrics>
   <status_info>true</status_info>
 </prometheus>

# 如果有多个节点,需要在每个节点都进行配置
-------
之后从新启动clickhouse
systemctl stop clickhouse-server.service  停机所有集群
systemctl start clickhouse-server.service   所有节点全部启动
systemctl status clickhouse-server.service   所有节点查看clickhouse 节点状态


image.png

1.3 配置prometheus

cd /usr/local/prometheus
vim prometheus.yml
-----
- job_name: 'clickhouse-monitor'
    static_configs:
    - targets: ['192.168.100.141:9363']
      labels:
        app: ck01
        nodename: node01
        role: node
    - targets: ['192.168.100.142:9363']
      labels:
        app: ck02
        nodename: node02
        role: node
    - targets: ['192.168.100.143:9363']
      labels:
        app: ck03
        nodename: node03
        role: node
    - targets: ['192.168.100.144:9363']
      labels:
        app: ck04
        nodename: node04
        role: node
    - targets: ['192.168.100.145:9363']
      labels:
        app: ck05
        nodename: node05
        role: node
    - targets: ['192.168.100.146:9363']
      labels:
        app: ck06
        nodename: node06
        role: node
----

从新启动prometheus:

service prometheus restart 


image.png

image.png

1.4 grafana 源的配置

image.png

导入绘图:12163

image.png image.png image.png

二: clickhouse 的管理工具ckman 的部署

2.1 ckman 的介绍

ClickHouse作为OLAP场景特别优秀的数据库解决方案,写入速度快,查询性能强,尤其是聚合查询能力特别出色,已在腾讯、哔哩哔哩、快手等公司得到有效实践。与此同时,ClickHouse在集群部署时配置复杂,流程繁琐也困扰着广大使用者。在此背景之下,ckman应运而生。

ckman(ClickHouse Manager)是由擎创信息科技公司自主研发的一款管理ClickHouse的工具,前端用vue框架,后端使用go语言编写。它主要用来管理ClickHouse集群、节点以及数据监控等,致力于服务ClickHouse分布式的操作以及管理。同时提供简单的数据查询窗口。

通过网页端的可视化界面,ckman可以非常便捷的完成集群的导入、部署、节点的增删以及性能指标的监控等功能,可以大大简化集群部署的操作流程,从而起到事半功倍的效果。


ckman的github:
    https://github.com/housepower/ckman

image.png

2.2 配置zookeeper 打开metric

cd /usr/local/zookeeper/conf/

vim zoo.cfg 
-----
metricsProvider.className=org.apache.zookeeper.metrics.prometheus.PrometheusMetricsProvider
metricsProvider.httpPort=7000
metricsProvider.exportJvmInfo=true
admin.enableServer=true
admin.serverPort=8080
-----
同步所有zookeeper节点然后重启zK 
cd /usr/local/zookeepr/bin/
./zkServer.sh stop 
./zkServer.sh start
./zkServer.sh status 

2.3 安装ckman

安装ckman
rpm -ivh ckman-2.1.3.x86_64.rpm

启动:
service ckman start 

ps -ef |grep ckman 

image.png image.png

打开web 页面

http://192.168.100.120:8808 

ckman /Ckman123456!

image.png image.png

导入已经存在的集群:
     

image.png image.png image.png image.png image.png image.png image.png

原文地址:https://blog.51cto.com/flyfish225/5484632

免责声明:本文来源于互联网,版权归合法拥有者所有,如有侵权请公众号联系管理员

* 本站提供的一些文章、资料是供学习研究之用,如用于商业用途,请购买正版。

flyfish225