HIVE：谓词下推

谓词

指返回bool值即true和false的函数，或是隐式转换为bool的函数：

如SQL中的谓词主要有 LKIE、BETWEEN、IS NULL、IS NOT NULL、IN、EXISTS

谓词下推 Predicate Pushdown（PPD）：

谓词下推 Predicate Pushdown（PPD），简而言之，就是在不影响结果的情况下，尽量将过滤条件提前执行。谓词下推后，过滤条件在map端执行，减少了map端的输出，降低了数据在集群上传输的量，节约了集群的资源，也提升了任务的性能。

谓词下推的基本思想 ：将过滤表达式尽可能移动至靠近数据源的位置，以使真正执行时能直接跳过无关的数据。

下面是join条件中的四个常见的概念：

1. 保留行表：在外关联语句中返回所有行的表. 比如a left (outer) join b 中的 a 表; a right (outer) join b 中的 b 表; a full outer join b a 和 b 表都是 保留表。
2. NULL补充表：外关联语句中用null值来填充没有匹配行的表. 比如a left (outer) join b 中的 b 表; a right (outer) join b 中的 a 表，a full outer join b a 和 b 表都是 null值保留表
3. Join中谓词：在Join on条件中的谓词.
4. Join后谓词：在Where条件中的谓词.

谓词下推法则

第一条法则： join条件过滤不能下推到保留行表中。

比如以下选择，left join中左表s1为保留行表，所以on条件（join过滤条件）不能下推到s1中

select s1.key, s2.key from src s1 left join src s2 on s1.key > ‘2’;

而s2表不是保留行，所以s2.key>2条件可以下推到s2表中:

select s1.key, s2.key from src s1 left join src s2 on s2.key > ‘2’;

第二条法则：where条件过滤不能下推到NULL补充表。

比如以下选择left join的右表s2为NULL补充表所以，s1.key>2 where条件可以下推到s1：

select s1.key, s2.key from src s1 left join src s2 where s1.key > ‘2’;

而以下选择由于s2为NULL补充表所以s2.key>2过滤条件不能下推

select s1.key, s2.key from src s1 left join src s2 where s2.key > ‘2’;

注意：如果在表达式中含有不确定函数，整个表达式的谓词将不会被pushed

例如

select a.*

from a join b on a.id = b.id

where a.ds = ‘2019-10-09’ and a.create_time = unix_timestamp();

因为unix_timestamp是不确定函数，在编译的时候无法得知，所以，整个表达式不会被pushed，即ds='2019-10-09’也不会被提前过滤。类似的不确定函数还有rand()等。

原文地址：https://blog.csdn.net/ALX3li/article/details/138036959

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！