开发
clickhouse 20.x 三分片两副本部署与本地表的压力测试(一)
标签(空测试用例格分隔):clickhouse 系列 一:系统环境准备 1.1 系统初始化 系统: CentOS7.9x64 主机名: cat /etc/hosts ---- 192.1
clickhouse 20.x 与prometheus + grafana+ckman的集成(三)
标签(空测试用例格分隔):clickhouse 系列 一:clickhouse 监控集成 1.1:clickhouse 与grafana 的集成 为grafana加载 支持的clickhouse 的监
Scala 基础 (三):运算符和流程控制
@TOC 一、运算符 Scala中的运算符和Java中的运算符基本相同。 算术运算 + - * / % ,+和-在一元运算表中示正号和负号,在二元运算中表示加和减。 /表示整除,只保留整数部分舍弃掉小
大数据Hadoop之——任务调度器Oozie(Oozie环境部署)
@[TOC] 一、概述 Oozie是一个基于工作流引擎的开源框架,依赖于MapReduce来实现,是一个管理 Apache Hadoop 作业的工作流调度系统。是由Cloudera公司贡献给Apach
Scala 基础 (二):变量和数据类型
@TOC 一、变量和常量 如何定义? var 变量名 [: 变量类型] = 初始值 val 常量名 [: 常量类型] = 初始值 举个栗子: var a: Int = 1
clickhouse 20.x 分布式表测试与chproxy的部署(二)
标签(空测试用例格分隔):clickhouse 系列 一: clickhouse20.x的分布式表测 1.1:clickhosue 分布式表创建 准备测试文件: 参考官网 https://clic
数据湖(十七):Flink与Iceberg整合DataStream API操作
Flink与Iceberg整合DataStream API操作 目前Flink支持使用DataStream API 和SQL API 方式实时读取和写入Iceberg表,建议大家使用SQL API 方
clickhouse 20.x 三分片两副本部署与本地表的压力测试(一)
标签(空测试用例格分隔):clickhouse 系列 一:系统环境准备 1.1 系统初始化 系统: CentOS7.9x64 主机名: cat /etc/hosts ---- 192.1
数据湖(十六):Structured Streaming实时写入Iceberg
Structured Streaming实时写入Iceberg 目前Spark中Structured Streaming只支持实时向Iceberg中写入数据,不支持实时从Iceberg中读取数据,下
【云原生|中间件】开源 SPL 轻松应对 T+0
T+0问题 T+0查询是指实时数据查询,数据查询统计时将涉及到最新产生的数据。在数据量不大时,T+0很容易完成,直接基于生产数据库查询就可以了。但是,当数据量积累到一定程度时,在生产库中进行大数据量的
数据湖(十五):Spark与Iceberg整合写操作
Spark与Iceberg整合写操作 一、INSERT INTO "insert into"是向Iceberg表中插入数据,有两种语法形式:"INSERT INTO tbl VALUES (1,"zs
数据湖(十四):Spark与Iceberg整合查询操作
Spark与Iceberg整合查询操作 一、DataFrame API加载Iceberg中的数据 Spark操作Iceberg不仅可以使用SQL方式查询Iceberg中的数据,还可以使用DataFra
数据湖(十三):Spark与Iceberg整合DDL操作
Spark与Iceberg整合DDL操作 这里使用Hadoop Catalog 来演示Spark 与Iceberg的DDL操作。 一、CREATE TABLE 创建表 Create table 创建
十分钟带汝入门大数据开发语言Scala
@TOC 一、概述 Scala是一门多范式的编程语言,一种类似Java的编程语言 ,设计初衷是实现可伸缩的语言 、并集成面向对象编程和函数式编程的各种特性。目前最主流的大数据开发框架Spark的实现就
大数据Hadoop之——Cloudera Hadoop(CM 6.3.1+CDH 6.3.2环境部署)
@[TOC] 一、概述 在众多 Hadoop 版本中, CDH(Cloudera Hadoop) 是 Hadoop 众多分支中比较出色的版本, 它由Cloudera 发行和维护。CDH 基于 Apac