eygle.com   eygle.com
eygle.com eygle
eygle.com  
 

« openGauss 论文: DBMind A Self-Driving Platform in openGauss | Blog首页 | openGauss SQL解析 »

openGauss 查询优化
modb.pro

文章来源于墨天轮:https://www.modb.pro/db/160703

SQL语句在编写的过程中,数据库应用开发人员通常会考虑以不同的形式来编写SQL,来达到提升执行性能的目的,那么为什么还需要查询优化器来对SQL进行优化呢?

这是因为一个应用程序可能会涉及到大量的SQL语句,而且有些SQL语句的逻辑极为复杂,数据库开发人员很难面面俱到的写出高性能语句,而查询优化器则具有一些独特的优势

  • 查询优化器和数据库应用程序开发人员之间的信息不对称,查询优化器在优化的过程中会参考数据库统计模块自动产生的统计信息,这些统计信息从各个角度来描述数据的分布情况,查询优化器会综合考虑统计信息中的各种数据,从而能够得到一个比较好的执行方案,而数据库用户一方面无法全面的了解数据的分布情况,另一方面也很难通过统计信息构建一个精确的代价模型来对执行计划进行筛选。

  • 查询优化器和数据库应用程序开发人员之间的时效性不同,数据库中的数据瞬息万变,一个在A时间点执行性能很高的执行计划,在B时间点由于数据内容发生了变化,它的性能可能就很低,查询优化器则随时都能根据数据的变化调整执行计划,而数据库应用程序开发人员则只能手动的调整SQL语句,和查询优化器相比,它的时效性比较低;

  • 查询优化器和数据库应用程序开发人员的计算能力不同,目前计算机的计算能力已经大幅提高,在执行数值计算方面和人脑相比具有巨大的优势,查询优化器对一个SQL语句进行优化时,可以从成百上千个执行方案中选择一个最优方案,而人脑要计算这几百种方案需要的时间要远远长于计算机;

因此,查询优化器是提升查询效率的非常重要的一个手段,虽然一些数据库也提供了人工干预执行计划生成的方法,但是通常而言,查询优化器的优化过程对数据库开发人员是透明的,它自动进行逻辑上的等价变换、自动进行物理执行计划的筛选,极大的提高了数据库应用程序开发人员的”生产力”。

依据优化方法的不同,优化器的优化技术可以分为

  • 基于规则的查询优化(Rule Based Optimization,RBO):根据预定义的启发式规则对SQL语句进行优化。

  • 基于代价的查询优化(Cost Based Optimization,CBO):对SQL语句对应的待选执行路径进行代价估算,从待选路径中选择代价最低的执行路径作为最终的执行计划。

  • 基于机器学习的查询优化(AI Based Optimization,ABO):收集执行计划的特征信息,借助机器学习模型获得经验信息,进而对执行计划进行调优,获得最优的执行计划。

在早期的数据库中,查询优化器通常采用启发式规则进行优化,这种优化方式不不够灵活,往往难以获得最优的执行代价,而基于代价的优化则能够针对大多数场景都高效筛选出性能较好的执行计划,但面对用户千人千面,日趋复杂的实际查询场景,普适性的查询优化由于难以捕捉到用户特定的查询需求、数据分布、硬件性能等特征,难以全方位满足实际的优化需求。

近年来AI技术,特别是在深度学习领域,发展迅速,基于机器学习的优化器在建模效率、估算准确率和自适应性等方面都有很大优势,有望打破RBO和CBO基于静态模型的限制,通过对历史经验的不断学习,将目标场景的模式进行抽象化,形成动态的模型,自适应地针对用户的实际场景进行优化。openGauss采用基于CBO的优化技术,另外在ABO方面也在进行积极探索。

一、查询重写

查询重写利用已有语句特征和关系代数运算来生成更高效的等价语句,在数据库优化器中扮演关键角色,尤其在复杂查询中,能够在性能上带来数量级的提升,可谓是”立竿见影”的”黑科技”。本节介绍查询重写的基本概念、常见的查询重写技术、查询重写面临的挑战。

1.1 查询重写的概念

SQL语言是丰富多样的,非常的灵活,不同的开发人员依据经验的不同,手写的SQL语句也是各式各样,另外还可以通过工具自动生成。SQL语言是一种描述性语言,数据库的使用者只是描述了想要的结果,而不关心数据的具体获取方式,输入数据库的SQL语言很难做到是以最优形式表示的,往往隐含了一些冗余信息,这些信息可以被挖掘用来生成更加高效的SQL语句。查询重写就是把用户输入的SQL语句转换为更高效的等价SQL,查询重写遵循两个基本原则:

  • 等价性:原语句和重写后的语句,输出结果相同。

  • 高效性:重写后的语句,比原语句在执行时间和资源使用上更高效。

1.2 关系代数等价变换

查询重写主要是基于关系代数式的等价变换,关系代数的变换通常满足交换律、结合律、分配率、串接率等,如下表所示。

屏幕快照 2021-11-09 下午2.20.51.png

上表中的等价变换规则并不能把所有的情况都列举出来,例如,如果对σF1(σF2(A)) == σF1∧F2(A)继续推导,那么就可以获得:

σF1(σF2(A)) == σF1∧F2(A) == σF2∧F1(A) == σF2(σF1(A))

因此,在熟悉了关系代数的操作之后,就可以灵活的利用关系代数的等价关系进行推导,获得更多的等价式。这些等价的变换一方面可以用来根据启发式的规则做优化,这样能保证等价转换之后的关系代数表达式的执行效率能够获得提高而非降低,例如借助分配率可以将一个选择操作下推,这样能降低上层结点的计算量,另一方面还可以用来生成候选的执行计划,候选的执行计划再由优化器根据估算的代价进行筛选。

1.3 常见的查询重写技术

介绍下openGauss几个关键的查询重写技术:常量表达式化简、子查询优化、选择下推和等价推理等。

1) 常量表达式化简

常量表达式即用户输入SQL语句中包含运算结果为常量的表达式,分为算数表达式、逻辑运算表达式、函数表达式,查询重写可以对常量表达式预先计算以提升效率。例如:

示例1:该语句为典型的算数表达式查询重写,经过重写之后,避免了在执行时每条数据都需要进行1+1运算。

SELECT * FROM t1 WHERE c1=1+1;

→ …SELECT * FROM t1 WHERE c1=2;

示例2:该语句为典型的逻辑运算表达式,经过重写之后,条件永远为false,可以直接返回0行结果,避免了整个语句的实际执行。

SELECT * FROM t1 WHERE 1=0 AND a=1;

→ …SELECT * FROM t1 WHERE false;

示例3:该语句包含函数表达式,由于函数的入参为常量,经过重写之后,直接把函数运算结果在优化阶段计算出来,避免了在执行过程中逐条数据的函数调用开销。

SELECT * FROM t1 WHERE c1 = ADD(1,1);

→ …SELECT * FROM t1 WHERE c1=2;

2) 子查询优化

由于子查询表示的结构更清晰,符合人的阅读理解习惯,用户输入的SQL语句往往包含了大量的子查询。子查询有几种分类方法,根据子查询是否可以独立求解,分为相关子查询和非相关子查询。

相关子查询:相关子查询是指子查询中有依赖父查询的条件,例如:SELECT * FROM t1 WHERE EXISTS (SELECT t2.c1 FROM t2 WHERE t1.c1=t2.c1); 语句中子查询依赖父查询传入t1.c1的值。

非相关子查询:非相关子查询是指子查询不依赖父查询,可以独立求解,例如: SELECT * FROM t1 WHERE EXISTS (SELECT t2.c1 FROM t2);

语句中子查询没有依赖父查询的条件。

其中,相关子查询需要父查询执行出一条结果,然后驱动子查询运算,这种嵌套循环的方式执行效率较低。如果能把子查询提升为父查询同级别,那么可以子查询中的表就能和父查询中的表直接做Join操作,由于Join操作可以有多种实现方法,优化器就可以从多种实现方法中选择最优的一种,就有可能提高查询的执行效率,另外优化器还能够应用Join Reorder优化规则对不同的表的连接顺序进行交换,进而有可能产生更好的执行计划。

示例4:该语句为典型的子查询提升重写,重写之后利用Hash Join可以提升查询性能。

SELECT * FROM t1 WHERE t1.c1 IN (SELECT t2.c1 FROM t2);

→ …SELECT * FROM t1 Semi Join t2 ON t1.c1 = t2.c1;

3) 选择的下推和等价推理

选择的下推能够极大的降低上层算子的计算量,从而达到优化的效果,如果选择条件有存在等值操作,那么还可以借助等值操作的特性来实现等价推理,从而获得新的选择条件。

例如,假设有两个表t1、t2分别包含[1,2,3,…100]共100行数据,那么查询语句SELECT t1.c1, t2.c1 FROM t1 JOIN t2 ON t1.c1=t2.c1 WHERE t1.c1=1的则可以通过选择下推和等价推理进行优化,如下图。

屏幕快照 2021-11-09 下午2.21.00.png

如图所示,t1、t2表都需要全表扫描100行数据,然后再做Join,生成100行数据的中间结果,最后再做选择操作,最终结果只有1行数据。如果利用等价推理,我们可以得到{t1.c1, t2.c1, 1}的是互相等价的,从而推导出新的t2.c1=1的选择条件,并把这个条件下推到t2上,从而得到图中重写之后的逻辑计划。可以看到,重写之后的逻辑计划,只需要从基表上面获取1条数据即可,Join时内、外表的数据也只有1条,同时省去了在最终结果上的过滤条件,性能大幅提升。

4) 外连接消除

外连接和内连接的主要区别是对于不能产生连接结果的元组需要补NULL值,如果SQL语句中有过滤条件符合空值拒绝的条件(即会将补充的NULL值再过滤掉),则可以直接消除外连接。

示例5:外连接转成内连接之后,便于优化器应用更多的优化规则,提高执行效率。

SELECT * FROM t1 FULL JOIN t2 ON t1.c1 = t2.c1 WHERE t1.c2 > 5 AND t2.c3 < 10;

→ …SELECT * FROM t1 INNER JOIN t2 ON t1.c1 = t2.c2 WHERE t1.c2 > 5 AND t2.c3 < 10;

5) DISTINCT消除 DISTINCT列上如果有主键约束,则此列不可能为空,且无重复值,因此不需要DISTINCT操作,减少计算量。

示例6:c1列上有的主键属性决定了无需做DISTINCT操作。

CREATE TABLE t1(c1 INT PRIMARY KEY, c2 INT); SELECT DISTINCT(c1) FROM t1;

→ …SELECT c1 FROM t1;

6) IN谓词展开

示例7:将IN操作符改写成等值的过滤条件,便于借助索引减少计算量。

SELECT * FROM t1 WHERE c1 IN (10,20,30);

→ …SELECT * FROM t1 WHERE c1=10 or c1=20 OR c1=30;

7) 视图展开

视图从逻辑上可以简化书写SQL的难度,提高查询的易用性,而视图本身是虚拟的,因此在查询重写的过程中,需要对视图展开。

示例7:可以将视图查询重写成子查询的形式,然后再对子查询做简化。

CREATE VIEW v1 AS (SELECT * FROM t1,t2 WHERE t1.c1=t2.c2); SELECT * FROM v1;

→ …SELECT * FROM (SELECT * FROM t1,t2 WHERE t1.c1=t2.c2) as v1;

→ …SELECT * FROM t1,t2 WHERE t1.c1=t2.c2;

二、路径搜索

优化器最核心的问题是针对某个SQL语句获得其最优解的问题,这个过程通常需要枚举SQL语句对应的解空间,也就是枚举不同的候选的执行路径,这些执行路径互相等价,但是执行效率不同,这对解空间中的这些执行路径计算它们的执行代价,最终可以获得一个最优的执行路径。依据候选执行路径的搜索方法的不同,将优化器的结构划分为如下几种模式:

  • 自底向上模式:如下图所示,自底向上的模式会对逻辑执行计划进行拆解,先建立对表的扫描算子,然后由扫描算子构成连接算子,最终堆成一个物理执行计划,在这个过程中,由于物理扫描算子和物理连接算子有多种可能,因此会生成多个物理执行路径,优化器会根据各个执行路径的估算代价选择出代价最低的执行计划,然后转交由执行器负责执行。

3.png

  • 自顶向下模式:该模式总体是运用面向对象思路,将优化器核心功能对象化,在词法分析、语法分析、语义分析后生成逻辑计划。基于此逻辑计划,应用对象化的优化规则,产生多个待选的逻辑计划,通过采用自顶向下的方法遍历逻辑计划,结合动态规划、代价估算和分支限界技术,获得最优的执行路径,如图所示。

4.png

  • 随机搜索模式:无论是自底向上模式还是自顶下模式,在参与连接的表的数量比较多的情况下,都会出现枚举时间过长的问题,一些优化器在表比较多的情况下通过一些随机枚举的方法对路径进行搜索,尝试在随机的解空间中获得次优的执行计划。

目前Oracle、MySQL、PostgreSQL等数据库的优化器采用的是自底向上模式,SQL Server以及开源的Calcite、ORCA则采用了自顶向下的模式,其中Calcite以良好的扩展性被广泛应用到其他开源项目里包括Apache Storm、Apache Flink、Apache Kylin、Apache Drill、SQL- Gremlin等项目。openGauss采用的是自底向上模式和随机搜索模式相结合的方式。

无论是自顶向下的搜索模式还是自底向上的搜索模式,搜索的过程也都是一个从逻辑执行计划想物理执行计划转变的过程,例如针对每个表可以有不同的扫描算子,而逻辑连接算子也可以转换为多种不同的物理连接算子,下面介绍一下具体的物理算子。

2.1 单表扫描路径搜索

GausssDB采用的是自底向上的路径搜索方法,因此路径生成总是从单表访问路径开始,对于单表访问路径,一般有两种:

  • 全表扫描:对表中的数据逐个访问。

  • 索引扫描:借助索引来访问表中的数据,通常需要结合谓词一起使用。

优化器首先根据表的数据量、过滤条件、可用的索引结合代价模型来估算各种不同扫描路径的代价。

例如:给定表定义CREATE TABLE t1(c1 int);如果表中数据为1,2,3…100000000连续的整型值并且在c1列上有B+树索引,那么对于SELECT * FROM t1 WHERE 从c1=1来说,只要读取1个索引页面和1个表页面就可以获取到数据。然而对于全表扫描,需要读取1亿条数据才能获取同样的结果。在这种情况下索引扫描的路径胜出。

索引扫描并不是在所有情况下都优于全表扫描,它们的优劣取决于过滤条件能够多滤掉多少数据,通常数据库管理系统会采用B+树来建立索引,如果在选择率比较高的情况下,B+树索引会带来大量的随机IO,这会降低索引扫描算子的访问效率。比如SELECT * FROM t1 WHERE c1>0;这条语句,索引扫描需要访问索引中的全部数据和表中的全部数据,并且带来巨量的随机IO,而全表扫描只需要顺序的访问表中的全部数据,因此在这种情况下,全表扫描的代价更低。

2.2 多表连接路径搜索

多表路径生成的难点主要在于如何枚举所有的表连接顺序(Join Reorder)和连接算法(Join Algorithm)。

假设有两个表t1和t2做JOIN操作,根据关系代数中的交换律原则,可以枚举的连接顺序有t1 × t2和t2 × t1两种,JOIN的物理连接算子有Hash Join、Nested Loop Join、Merge Join三种类型。这样一来,可供选择的路径有6种之多。这个数量随着表的增多会呈指数级增长,因此高效的搜索算法显得至关重要。

openGauss通常采用自底向上的路径搜索方法,首先生成了每个表的扫描路径,这些扫描路径在执行计划的最底层(第一层),在第二层开始考虑两表连接的最优路径,即枚举计算出每两表连接的可能性,在第三层考虑三表连接的最优路径,即枚举计算出三表连接的可能性,直到最顶层为止生成全局最优的执行计划。

假设有4个表做JOIN操作,它们的的连接路径生成过程如下:

  • 单表最优路径:依次生成{1},{2},{3},{4}单表的最优路径。

  • 二表最优路径:依次生成{1 2},{1 3},{1 4},{2 3},{2 4},{3 4}的最优路径。

  • 三表最优路径:依次生成{1 2 3},{1 2 4},{2 3 4},{1 3 4}的最优路径。

  • 四表最优路径:生成{1 2 3 4}的最优路径即为最终路径。

多表路径问题核心为Join Order,这是NP(Nondeterministic Polynomially,非确定性多项式)类问题,在多个关系连接中找出最优路径,比较常用的算法是基于代价的动态规划算法,随着关联表个数的增多,会发生表搜索空间膨胀的问题,进而影响优化器路径选择的效率,可以采用基于代价的遗传算法等随机搜索算法来解决。

另外为了防止搜索空间过大,openGauss采用了三种剪枝策略:

  • 尽可能先考虑有连接条件的路径,尽量推迟笛卡尔积。

  • 在搜索的过程中基于代价估算对执行路径采用LowBound剪枝,放弃一些代价较高的执行路径。

  • 保留具有特殊物理属性的执行路径,例如有些执行路径的结果具有有序性的特点,这些执行路径可能在后序的优化过程中避免再次排序。

2.3 分布式路径搜索

openGauss优化引擎可以生成高效的分布式路径。在分布式架构下,同一个表的数据会分布到不同的DN上,创建表的时候可以选择将数据在每个表上做Hash分布或者Random分布,为了正确执行两表连接操作,可能需要将两个表的数据做重新分布才能得到正确的连接结果,因此openGauss的分布式执行计划中增加了对数据进行重分布的两个算子:

  • Redistribute:将一个表的数据按照执行的Hash值在所有的DN上做重分布。

  • Broadcast:通过广播的方式重新分布一个表的数据,保证广播之后每个DN上都有这个表的数据的一份副本。

分布式路径生成时,会考虑两表以及连接条件上的数据是否处于同一个数据节点,如果不是,那么会添加相应的数据分发算子。例如:

CREATE TABLE t1(c1 int, c2 int) DISTRIBUTE BY hash(c1);

CREATE TABLE t2(c1 int, c2 int) DISTRIBUTE BY hash(c2);

SELECT * FROM t1 JOIN t2 ON t1.c1=t2.c1;

其中表t1采用的是Hash分布方法,其分布键为c1列,表t2采用的也是Hash分布方法,其分布键为c2列,由于SELECT查询中选择条件是在t1.c1和t2.c2上做连接操作,这两个列的分布不同,因此做连接之前需要添加数据重分布来确保连接的数据在同一数据节点上。那么有如下几种可供选择的路径如图所示。

5.png

根据分发算子所需要处理的数据量以及网络通信所带来的消耗,可以计算这些路径的代价,openGauss优化引擎会根据代价从中选出最优的路径。

2.4 利用物理属性优化

关系的本身可以视为一个集合或者包,这种数据结构对数据的分布没有设定,为了提升计算的性能,我们需要借助一些数据结构或算法来对数据的分布做一些预处理,这些预处理方法或者利用了物理执行路径的物理属性(例如有序性),或者为物理执行路径创建物理属性,总之这些属性经常会在查询优化中发挥巨大的作用。

1) B+树

如果要查询一个表中的数据,最简单的办法自然是将表中的数据全部遍历一遍,但是随着当前数据量的越来越大,遍历表中数据的代价也越来越高,而B+树就成了我们高效的查询数据的有力武器。

1970年,R.Bayer和E.mccreight提出了一种适用于外查找的树,它是一种平衡的多叉树,称为B树,B树就是在表的数据上建立一个”目录”,类似于书籍中的目录,这样就能快速的定位到要查询的数据。

B+树作为一种数据结构和查询优化器本身没有直接的关系,但是数据库管理系统通常会建立基于B+树的索引,而在查询优化的过程中,可以通过索引扫描、位图扫描的方法提高查询效率,这都会涉及到这种B+树类型的索引的使用。

2) Hash表

Hash表也是一种对数据进行预处理的方法,openGauss数据库在多个地方使用了Hash表或借用了Hash表的思想来提升查询效率:

借用Hash可以实现分组操作,因为Hash表天然就有对数据分类的功能。

借用Hash可以建立Hash索引,这种索引适用于等值的约束条件。

物理连接路径中Hash Join是非常重要的一条路径。

3) 排序

排序也是一种对数据进行预处理的方法,它主要用在以下几个方面:

借用排序可以实现分组操作,因为经过排序之后,相同的数据都聚集在一起,因此它可以用来实现分组。

B树索引的建立需要借助排序来实现。

物理连接路径Merge Join路径需要借助排序实现。

SQL语言中的Order By操作需要借助排序实现。

在数据量比较小时,数据可以全部加载到内存,这时候使用内排序就能完成排序的工作,而当数据量比较大时,则需要使用外排序才能完成排序的工作,因此在计算排序的代价时需要根据数据量的大小以及可使用的内存的大小来决定排序的代价。

4) 物化

物化就是将扫描操作或者连接操作的结果保存起来,如果在中间结果比较大的情况下可能需要将结果写入外存,这会产生IO代价,因此这种保存是有代价的。

物化的优点是如果内表可以一次读取多次使用,那么就可以将这个中间结果保存下来多次利用,例如有t1表和t2表做连接,如果t2表作为内表经过扫描之后,只有5%的数据作为中间结果,其他95%的数据都被过滤掉了,那么就可以考虑将这5%的数据物化起来,这样t1表的每条元组就只和这5%的数据进行连接就可以了。

中间结果是否物化主要取决于代价计算的模型,通常物理优化生成物理路径时对物化和不物化两条路径都会计算代价,最终选择代价较低的一个。

三、代价估算

优化器会根据生成的逻辑执行计划枚举出候选的执行路径,要确保执行的高效,需要在这些路径中选择开销最小、执行效率最高的路径。那么如何评估这些计划路径的执行开销就变得非常关键。代价估算就是来完成这项任务的,基于收集的数据统计信息,对不同的计划路径建立代价估算模型,评估给出代价,为路径搜索提供输入。

3.1 统计信息

统计信息是计算计划路径代价的基石,统计信息的准确度对代价估算模型中行数估算和代价估算起着至关重要的作用,直接影响查询计划的优劣。openGauss支持使用Analyze命令语句来完成对全库、单表、列、相关性多列进行收集统计信息。

由于统计信息直接影响代价计算的准确度,所以统计信息的收集的频率就是一个非常敏感的参数,如果统计信息收集的频率太低,则会导致统计信息的滞后,相反,如果过于频繁的收集统计信息,则会间接影响查询的性能。

通常数据库管理系统会提供手动的收集统计信息的方法,openGauss支持通过Analyze命令来收集统计信息,同时数据库管理系统也会根据数据变化的情况自动决定是否重新收集统计信息,例如当一个表中的数据频繁的更新超过了一个阈值,那么就需要自动更新这个表的统计信息。在查询优化的过程中,如果优化器发现统计信息的数据已经严重滞后,也可以发起统计信息的收集工作。

表级的统计信息通常包括元组的数量(N)、表占有的页面数(B),而列级的统计信息则主要包括属性的宽度(W)、属性的最大值(Max)、最小值(Min)、高频值(MCV)等等,通常针对每个列会建立一个直方图(H),将列中的数据按照范围以直方图的方式展示出来,可以更方便的计算选择率。

直方图通常包括等高直方图、等频直方图和多维直方图等等,这些直方图可以从不同的角度来展现数据的分布情况,openGauss采用的是等高直方图,直方图的每个柱状体都代表了相同的频率。

3.2 选择率

通过统计信息,代价估算系统就可以了解一个表有多少行数据、用了多少个数据页面、某个值出现的频率等,然后根据这些信息就能计算出一个约束条件(例如SQL语句中的WHERE条件)能够过滤掉多少数据,这种约束条件过滤出的数据占总数据量的比例称为选择率。

6.png

约束条件可以是独立的表达式构成的,也可以是由多个表达式构成的合取范式或析取范式,其中独立的表达式需要根据统计信息计算选择率,合取范式和析取范式则借助概率计算的方法获得选择率。

合取范式:P(A and B) = P(A) + P(B) - P(AB)

析取范式:P(AB) = P(A) × P(B)

假设要对约束条件A > 5 AND B < 3计算选择率,那么首先需要对A > 5和B < 3分别计算选择率,由于已经有了A列和B列的统计信息,因此可以根据统计信息计算出A列中值大于5的数据比例,类似的还可以计算出B列的选择率。假设A>5的选择率为0.3,B<3的选择率为0.5,那么A > 5 AND B < 3的选择率为:

P(A>5 and B<3) = P(A>5) + P(B<3) - P(A>5)×P(B<3) = 0.3 + 0.5 - 0.3×0.5 = 0.65 由于约束条件的多样性,选择率的计算通常会遇到一些困难,例如选择率在计算的过程中通常假设多个表达式之间是相互”独立”的,但实际情况中不同的列之间可能存在函数依赖关系,因此这时候就可能导致选择率计算不准确。

3.3 代价估算方法

openGauss的优化器是基于代价的优化器,对每条SQL语句,openGauss都会生成多个候选的计划,并且给每个计划计算一个执行代价,然后选择代价最小的计划。

当一个约束条件确定了选择率之后,就可以确定每个计划路径所需要处理的行数,并根据行数可以推算出所需要处理的页面数。当计划路径处理页面的时候,会产生IO代价,而当计划路径处理元组的时候(例如针对元组做表达式计算),会产生CPU代价,由于openGauss是分布式数据库,在CN和DN之间传输数据(元组)会产生通信的代价,因此一个计划的总体代价可以表示为:

总代价 = IO代价 + CPU代价 + 通信代价

openGauss把所有顺序扫描一个页面的代价定义为单位1,所有其它算子的代价都归一化到这个单位1上。比如把随机扫描一个页面的代价定义为4,即认为随机扫描一个页面所需代价是顺序扫描一个页面所需代价的4倍。又比如,把CPU处理一条元组的代价为0.01,即认为CPU处理一条元组所需代价为顺序扫描一个页面所需代价的百分之一。

从另一个角度来看,openGauss将代价又分成了启动代价和执行代价,其中:

总代价 = 启动代价 + 执行代价

1) 启动代价

从SQL语句开始执行,到此算子输出第一条元组为止,所需要的代价,称为启动代价。有的算子启动代价很小,比如基表上的扫描算子,一旦开始读取数据页,就可以输出元组,因此启动代价为0。有的算子的启动代价相对较大,比如排序算子,它需要把所有下层算子的输出全部读取到,并且把这些元组排序之后,才能输出第一条元组,因此它的启动代价比较大。

2) 执行代价

从输出第一条元组开始,至查询结束,所需要的代价,称为执行代价。这个代价中又可以包含CPU代价、IO代价和通信代价,执行代价的大小与算子需要处理的数据量有关,与每个算子完成的功能有关。处理的数据量越大、算子需要完成的任务越重,则执行代价越大。

3) 总代价

代价计算是一个自底向上的过程,首先计算扫描算子的代价,然后根据扫描算子的代价计算连接算子的代价以及Non-SPJ算子的代价。

7.png

如上图所示,SQL查询中包含两张表,分别为t1、t2,它的某个候选计划的计算过程如下:

(1)扫描t1的启动代价为0.00,总代价为13.13。总代价中既包括了扫描表页面的IO代价,也包括了对元组进行处理的CPU代价,同理可以获得对t2表扫描的代价。

(2)由于连接条件(t1.c1 = t2.c2)中的列与两表的分布列不同,因此该计划对t2进行了广播(Broadcast),广播算子的总代价为15.18,此代价已经包括了顺序扫描t2的代价13.13。

(3)使用Hash Join时,必须先为内表的数据建立Hash表,因此Hash Join具有启动代价,它的启动代价是13.29,Hash Join的总代价为28.64。

(4)聚集算子的启动代价为28.69,总代价为28.79。

(5)依次类推,此计划最终的启动代价为29.31,总代价为29.72。


历史上的今天...
    >> 2010-11-09文章:
    >> 2009-11-09文章:
    >> 2006-11-09文章:
    >> 2005-11-09文章:
           这几天以来

By enmotech on 2021-11-09 14:10 | Comments (0) | | 3429 |


CopyRight © 2004~2020 云和恩墨,成就未来!, All rights reserved.
数据恢复·紧急救援·性能优化 云和恩墨 24x7 热线电话:400-600-8755 业务咨询:010-59007017-7040 or 7037 业务合作: marketing@enmotech.com