点击下方卡片

关注“大数据学习指南”公众号

加个“星标”,第一时间获取大数据学习干货

💡  本系列文章是 ClickHouse 由浅入深的教程,涵盖搭建安装、基础概念、基本操作、核心原理解读、具体场景实践和优化、集群运维和管理等一系列内容。适用于想对 ClickHouse了解或想要加深理解的读者。

祝开卷有益。 

大家好,我是小陶,今天来聊聊 ClickHouse 为什么这么快,面试中问的比较多,整理了一下。

先说下结论,ClickHouse 为什么这么快,主要是和下面这些方面有关系:

  • 第 1 步:将数据从磁盘加载到 RAM
  • 第 2 步:根据查询执行计划在 CPU 中处理数据

ClickHouse 在这两步上做了很多优化,使得ClickHouse在分析数据上非常快。下面介绍具体优化细节。

第一步:将数据加载到RAM

将数据从磁盘加载到 RAM 中可以在逻辑上分为两个独立的子步骤。

  • 确定要加载哪些数据?
  • 将数据加载到 RAM

假设有一张表,1000列,我现在查询的 SQL 中只需要 2 列,ClickHouse 采用列式存储,使得数据列可以按需读取,只需要读取 2 列,不需要读取另外的 998 列,极大节省了磁盘IO,提高了读取的效率。

列式存储可以快速定位需要的列了。

下面是 ClickHouse 在行级别的优化,支持多层索引,可以快速的定位行级别的数据。
主键索引和二级索引:数据按照主键排序存储在磁盘上,如果我们只指定了排序键,那么主键将隐式定义为排序键。

它并不索引单条数据,而是索引一定范围的数据。也就是从已排序的全量数据中,间隔性的选取一些数据记录主键字段的值来生成primary.idx索引文件,从而加快表查询效率。间隔设置参数为index_granularity。

mrk标记文件在primary.idx索引文件和bin数据文件之间起到了桥梁作用。primary.idx文件中的每条索引在mrk文件中都有对应的一条记录。

然而,无论如何仔细地调优主键,不可避免地会出现不能有效使用它的查询用例。在这种情况下,查询性能可能会相当差,因为应用WHERE子句条件可能需要对每个列值进行完整扫描。虽然ClickHouse在这些情况下仍然相对较快,但计算数百万或数十亿个单独的值将导致“非索引”查询的执行速度比基于主键的查询慢得多。
二级索引就发挥作用了。这些结构被标记为跳数索引,因为它们使ClickHouse能够跳过保证没有匹配值的数据块。用户只能在MergeTree表引擎上使用数据跳数索引。

数据压缩:为了减少数据的大小,ClickHouse 对列式存储的数据进行了压缩,列式存储天然的适合压缩,因为相同列的数据类型是相同的,更容易压缩。其实本质思想就是将类似的数据存在一起,不要太随机了,这样可以提升压缩比,数据少了,省存储,也可以加快查询速度。

第二步:根据查询执行计划在 CPU 中处理数据

当磁盘数据读取完成并解压到 RAM 时,ClickHouse 开始在处理数据,在这个环节有三个比较重要的方面:

  • 你在一个周期内要处理多少数据?
  • 查询执行的并行化程度有多大?
  • 可以利用多少过去的查询执行?

ClickHouse 在上述三个方面都做了很大的优化。

向量化执行:ClickHouse 不仅存储数据是按照列存储的,处理数据也是按照列处理的。向量化查询执行降低了CPU缓存缺失率,利用了现代 CPU 的 SIMD(单指令多数据)功能,减少了分支开销并最小化了数据移动,从而节省了宝贵的毫秒级查询执行时间,减少了延迟。

MPP(Massively Parallel Processing)  架构:单个大型查询不仅可以拆分为单个节点的各种 CPU内核,而且单个查询还可以利用集群中所有其他分片对应的所有其他CPU内核和磁盘。这意味着在具有数十个核心的大型集群上,即使具有数千亿行的数据集也可以在几秒钟内处理。

物化视图和缓存:对于频繁访问的数据子集,物化视图非常有用,因为它们通过只存储与频繁运行的查询相关的数据子集,将查询执行时间缩短到很小的一部分。虽然存储开销很小,但对于频繁的查询模式,磁盘读取速度要快得多,这为最常见的查询集带来了惊人的性能。除此之外,ClickHouse支持多种类型的缓存:从数据缓存类型(读缓存、写缓存、压缩缓存、字典缓存)到查询缓存,再到文件系统缓存,所有这些都利用了最近查询执行的能力来减少未来的查询运行时间。

好了,以上就是 ClickHouse 六大核心优化的内容,可以点击文末的 #ClickHouse 标签查看更多 ClickHouse 的文章,以后会多多更新。

以下渠道可以找到我:

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。