开发
【GIS开发】Esri Shapefile(.shp)矢量数据文件读取（C++、Python）
1、简介 1.1 什么是Shapefile <font color=blue>ESRI Shapefile（shp），或简称shapefile，是美国环境系统研究所公司（ESRI）开发的一种空间数据开
Spark常规性能调优（一）
1、常规性能调优一：最优资源配置 Spark性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的 ，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能
SQL进阶篇之多表联查
SQL Alias（别名） 通过使用 SQL，可以为列名称和表名称指定别名（Alias） 表的 SQL Alias 语法 SELECT column_name(s) FROM table_name A
SQL进阶篇之约束(Constraints)
SQL 约束 约束用于限制加入表的数据的类型，可以在创建表时规定约束(通过 CREATE TABLE 语句)，或者在表创建之后也可以(通过 ALTER TABLE 语句) SQL约束主要包括以下几种约
Spark常见数据倾斜情况及调优方案
1、数据倾斜 Spark中的数据倾斜问题主要指shuffle过程中出现的数据倾斜问题，是由于不同的key对应的数据量不同导致的不同task所处理的数据量不同的问题 例如，reduce点一共要处理100
Spark Troubleshooting
1、故障排除一：控制reduce端缓冲大小以避免OOM 在Shuffle过程，reduce端task并不是等到map端task将其数据全部写入磁盘后再去拉取，而是map端写一点数据，reduce端ta
使用Hadoop patch包修复的一次经历
原因： 因为公司的平台的数据量在30P左右，使用了Hadoop3.1.2的版本，而且使用的纠删码功能，报错信息如下： java.io.IOException: Unexpected EOS from
搜索中常见数据结构与算法探究（一）
1 前言 ES现在已经被广泛的使用在日常的搜索中，Lucene作为它的内核值得我们深入研究，比如FST，下面就用两篇分享来介绍一些本文的主题： 第一篇主要介绍数据结构和算法基础和分析方法，以及一些常用
【Web开发】Golang实现Web服务器
(本节内容如下：) 1、简介 大规模构建快速、可靠、高效的软件。 Go是谷歌支持的一种开源编程语言 易于学习和入门 内置并发性和强大的标准库 不断增长的合作伙伴、社区和工具生态系统 相关网站： htt
【设计模式】【第五章】【开具增值税发票】【建造者模式 + 原型模式】
文章目录 创建design-demo项目 创建UserController 创建UserService 创建UserServiceImpl 创建TicketBuil
激活数据价值，探究DataOps下的数据架构及其实践丨DTVision开发治理篇
据中国信通院发布，2012 年到 2021 年 10 年间，我国数字经济规模由 12 万亿元增长到 45.5 万亿元，在整个 GDP 中的比重由 21.6% 提升至 39.8%。顺应时代发展新趋势，“
字节跳动基于Doris的湖仓分析探索实践
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 Doris简介 Doris是一种MPP架构的分析型数据库，主要面向多维分析，数据报表，用户画像分析等场景。自带分析
Presto安装集成kerberos
解压presto-server包 tar -zxvf presto-server-0.276.tar.gz 件目录结构如下 drwxr-xr-x 3 rong rong 4096 Mar 29