关于join on和where执行顺序分析

吾爱主题阅读：167 2023-03-06 17:06:00 评论：0

join on和where执行顺序

1、join中相比where优先推荐on

WHERE子句中使用的连接语句，在数据库语言中，被称为隐性连接。INNER JOIN……ON子句产生的连接称为显性连接。（其他JOIN参数也是显性连接）WHERE和INNER JOIN产生的连接关系，没有本质区别，结果也一样。但是！隐性连接随着数据库语言的规范和发展，已经逐渐被淘汰，比较新的数据库语言基本上已经抛弃了隐性连接，全部采用显性连接了。

2. 逻辑上一个query的执行顺序（不是实际）

1. FROM
2. ON
3. JOIN
4. WHERE
5. GROUP BY
6. WITH CUBE or WITH ROLLUP
7. HAVING
8. SELECT
9. DISTINCT
10. ORDER BY
11. TOP
说是“逻辑上” 顺序，因为实际执行时还要看索引，数据分布等，看最终优化器如何处理，最真实的顺序肯定是执行计划展示的顺序。

SQL语句中join连表时on和where后都可以跟条件，那么对查询结果集，执行顺序，效率是如何呢？通过查询资料发现：
区别：
on是对中间结果进行筛选，where是对最终结果筛选。

执行顺序：
先进行on的过滤, 而后才进行join。

效率：
如果是inner join, 放on和放where产生的结果一样, 但没说哪个效率速度更高? 如果有outer join (left or right), 就有区别了, 因为on生效在先, 已经提前过滤了一部分数据, 而where生效在后.
最后来了解下T-SQL对查询逻辑处理。
T-SQL逻辑查询的各个阶段(编号代表顺序)：
(5)SELECT DISTINCT TOP(<top_specification>) <select_list>
(1)FROM <left_table> <join_type> JOIN <right_table> ON <on_predicate>
(2)WHERE <where_predicate>
(3)GROUP BY <group_by_specification>
(4)HAVING <having_predicate>
(6)ORDER BY <order_by_list>

T-SQL在查询各个阶级分别干了什么：
（1）FROM 阶段
FROM阶段标识出查询的来源表，并处理表运算符。在涉及到联接运算的查询中（各种join），主要有以下几个步骤：
　　a.求笛卡尔积。不论是什么类型的联接运算，首先都是执行交叉连接（cross join），求笛卡儿积，生成虚拟表VT1-J1。

b.ON筛选器。这个阶段对上个步骤生成的VT1-J1进行筛选，根据ON子句中出现的谓词进行筛选，让谓词取值为true的行通过了考验，插入到VT1-J2。

c.添加外部行。如果指定了outer join，还需要将VT1-J2中没有找到匹配的行，作为外部行添加到VT1-J2中，生成VT1-J3。

经过以上步骤，FROM阶段就完成了。概括地讲，FROM阶段就是进行预处理的，根据提供的运算符对语句中提到的各个表进行处理（除了join，还有apply，pivot，unpivot）

（2）WHERE阶段
WHERE阶段是根据<where_predicate>中条件对VT1中的行进行筛选，让条件成立的行才会插入到VT2中。

（3）GROUP BY阶段
GROUP阶段按照指定的列名列表，将VT2中的行进行分组，生成VT3。最后每个分组只有一行。

（4）HAVING阶段
该阶段根据HAVING子句中出现的谓词对VT3的分组进行筛选，并将符合条件的组插入到VT4中。

（5）SELECT阶段
　　这个阶段是投影的过程，处理SELECT子句提到的元素，产生VT5。这个步骤一般按下列顺序进行
        a.计算SELECT列表中的表达式，生成VT5-1。
        b.若有DISTINCT，则删除VT5-1中的重复行，生成VT5-2
        c.若有TOP，则根据ORDER BY子句定义的逻辑顺序，从VT5-2中选择签名指定数量或者百分比的行，生成VT5-3

（6）ORDER BY阶段
根据ORDER BY子句中指定的列明列表，对VT5-3中的行，进行排序，生成游标VC6.

如果是inner join, 放on和放where产生的结果一样, 执行计划也是一样，但推荐使用on。但如果有outer join (left or right), 就有区别了, 因为on生效在先, 已经提前过滤了一部分数据, 而where生效在后，而且on对于outer join有不生效的情况,需要看and条件是作用在左表还是右表。

扩展：SQL执行顺序join在where前面

取a表和b表join的数据sql

原本意图是取a表的昨日分区数据和b表的昨日分区数据进行join，但是发现加上and b.dt = '${daily}'的条件后就取不到在a表中存在的数据了

select substr(a.create_time,1,7) create_month,a.service_id,a.unit_number,a.company_name,coalesce(b.unified_social_credit_code,"unknown") unified_social_credit_code
,a.company_id,b.company_id as company_id_b,a.dt,b.dt
from clouduser.dz_company a 
left join clouduser.dz_company_detail b on a.company_id = b.company_id
where a.dt = "${daily}" 
--and b.dt = "${daily}"
and substr(a.create_time,1,7) = "2022-09"
and a.company_name = "浙江港都电子有限公司";

运行结果

原因是where执行是在join之后，join出来的临时表中，由于在b表中没有匹配到数据，所以b.dt为null，这时候执行where b.dt = '${daily}'的条件筛选不到这条数据。
优化方法

现在子查询中将b表的昨日分区查询出来，再和a表join

with
r1 as (select * from clouduser.dz_company_detail where dt = "2022-10-17"),
r2 as (
select substr(a.create_time,1,7) create_month,a.service_id,a.unit_number,a.company_name,coalesce(b.unified_social_credit_code,"unknown") unified_social_credit_code
,a.company_id,b.company_id as company_id_b
from clouduser.dz_company a 
left join r1 b on a.company_id = b.company_id
where a.dt = "${daily}" 
--and b.dt = "${daily}"
and substr(a.create_time,1,7) = "2022-09"
and a.company_name = "浙江港都电子有限公司"
)
select * from r2;

执行结果