PageHelper自定义Count查询及其优化

🕗 发布于 2024-12-11 07:38 mybatis java mysql

PageHelper自定义Count查询及其优化

文章目录

PageHelper自定义Count查询及其优化

一：背景

PageHelper默认情况下会帮我们根据查询语句自动生成COUNT查询SQL，但是有些情况下，PageHelper自动生成COUNT查询SQL存在效率问题。比如，其中使用了GROUP BY语句，多表关联，生成的COUNT查询SQL查询效率很慢

1.1、解决方法

1.count()有优化空间的直接优化，Count执行条件慢无外乎索引是否命中，执行SQL是否多表关联

2.count()没办法优化的，只能从业务入手，取消关联的一些条件查询

3.不返回count总条数，只能一页一页往下翻

4.缓存总条数，实时性保证不保证

5.异步查询加载，前端后端一起优化

也就是点击一次请求查询两个接口，list接口肯定很快返回，可以直接进行列展示，供用户操作查看等；
count接口返回较慢，分页插件下面展示loading（提示正在加载），异步执行完成后告诉前端

6.彻底解决：引入ES或其他数据库

7.代码层面：投机取巧（二：利用反射判断请求参数是否有模糊查询）

每次请求分页接口，没有任何条件查询的时候，count会计算总条数，数据量大时非常耗时；但是模糊查询的话，速度还可以接受；

是否有一种方法可以：如果只是有pageIndex和pageSize参数的时候，我用自定义的count；如果有其他模糊条件查询的时候，我选择pageHelper自带的count，执行原有复杂SQL语句，维持count准确性

二：利用反射判断请求参数是否有模糊查询

2.1、分页不执行count

PageHelper.startPage(req.getCurPage(), req.getPageSize(),false);
如果将此参数设置为false，pageHlper不执行count方法；

2.2、思路

1.只有分页参数--》不执行默认count方法，设置为false--》自定义count--》返回自定义count总条数

2.有模糊查询分页参数--》执行默认count方法，设置为true--》pageHelper自带count--》count参数pageHelper会返回

2.3、代码示例

 // 定义一个私有静态列表来存储需要忽略的字段名称,填写当前类的字段
    private static final List<String> IGNORED_FIELDS = Arrays.asList("curPage", "pageSize");

    //用作分页count选择,如果原始分页,选择全表差,反之用条件查
    public boolean areAllFieldsEmptyExceptIgnored() {
        //获取父类的字段
        //Field[] declaredFields = this.getClass().getSuperclass().getDeclaredFields();
        //只获取了当前类的字段
        for (Field field : this.getClass().getDeclaredFields()) {
            // 忽略静态字段和transient字段
            if (java.lang.reflect.Modifier.isStatic(field.getModifiers()) ||
                    java.lang.reflect.Modifier.isTransient(field.getModifiers())) {
                continue;
            }
            // 忽略配置列表中的字段
            if (IGNORED_FIELDS.contains(field.getName())) {
                continue;
            }
            // 确保私有字段也可以访问
            field.setAccessible(true);
            try {
                // 获取字段值
                Object value = field.get(this);
                //检查字段值是否为空
                // 检查字段值是否为空
                if (value instanceof String && ((String) value).isEmpty()) {
                    //字段为空字符串，这是允许的，继续检查下一个字段
                    continue;
                } else if (value instanceof String) {
                    // 字段为非空字符串
                    return false;
                } else if (value instanceof List && ((List<?>) value).isEmpty()) {
                    // 字段为非空列表，这是允许的，继续检查下一个字段
                    continue;
                }else if (value instanceof List) {
                    //字段为非空集合
                    return false;
                }  else if (value != null) {
                    //字段为非空对象
                    return false;
                }
            } catch (IllegalAccessException e) {
                // 处理可能的非法访问异常
                throw new RuntimeException("Error accessing field: " + field.getName(), e);
            }
        }
        //所有字段都是空的
        return true;
    }

这段反射说明：如果只有分页参数，会返回true；如果有模糊查询参数，会返回false；需要忽略的字段，支持自己设置

        boolean status = req.areAllFieldsEmptyExceptIgnored();
        PageHelper.startPage(req.getCurPage(), req.getPageSize(),!status);
        List<GoodsSpu> resultList =goodsSpuMapper.goodsSpuList(daoReq);
        PageInfo<GoodsSpu> pageInfo = new PageInfo<>(resultList);
        if (status) {
            //count全查
            pageInfo.setTotal(goodsSpuMapper.goodsSpuListCount(daoReq));
        }else{
            //count条件查,走默认分页的count
        }

<select id="goodsSpuList" parameterType="com.kkd.goods.model.in.GoodsSpuListDaoReq" resultType="com.kkd.goods.entity.GoodsSpu">

    select DISTINCT r.id dis_id,r.* from
        (
            select gsp.* from gd_goods_spu gsp
                                  LEFT JOIN gd_goods_sku gsk on gsp.spu=gsk.spu
                                  LEFT JOIN gd_goods_sku_upc gsu on gsp.spu=gsu.spu
                                  LEFT JOIN gd_goods_shop_category_relation gscr on gsp.spu=gscr.spu
            where
             gsp.is_delete=0
            and gsp.org_id=#{orgId}
    <if test="name != null and name != '' ">
        and gsp.`name`like concat('%',#{name},'%')
    </if>

    <if test="spuList != null and spuList.size > 0">
        AND  gsp.spu IN
        <foreach item="id" index="index" collection="spuList" open="(" separator="," close=")">
            #{id}
        </foreach>
    </if>

    <if test="skuList != null and skuList.size > 0">
        AND  gsk.sku IN
        <foreach item="id" index="index" collection="skuList" open="(" separator="," close=")">
            #{id}
        </foreach>
    </if>

    <if test="upcList != null and upcList.size > 0">
        AND  gsu.upc IN
        <foreach item="id" index="index" collection="upcList" open="(" separator="," close=")">
            #{id}
        </foreach>
    </if>

    <if test="categoryCodes != null and categoryCodes.size > 0">
        AND  gsp.category_code IN
        <foreach item="id" index="index" collection="categoryCodes" open="(" separator="," close=")">
            #{id}
        </foreach>
    </if>

    <if test="shopCategoryIds != null and shopCategoryIds.size > 0">
        AND  gscr.shop_category_id IN
        <foreach item="id" index="index" collection="shopCategoryIds" open="(" separator="," close=")">
            #{id}
        </foreach>
    </if>

    <if test="ePlatformCategoryId != null">
        and gsp.e_platform_category_id=#{ePlatformCategoryId}
    </if>

    <if test="isNormal != null">
        and gsp.normal=#{isNormal}
    </if>

    <if test="imageEmpty != null  and imageEmpty == 1 ">
        and gsp.images is null
    </if>

    <if test="isMaster != null ">
        and gsp.`master` = #{isMaster}
    </if>

    <if test="masterSpu != null and masterSpu !='' ">
        and gsp.`master_spu` = #{masterSpu}
    </if>

    ORDER BY gsp.update_time desc
    ) r
</select>

<select id="goodsSpuListCount" resultType="java.lang.Long" parameterType="com.kkd.goods.model.in.GoodsSpuListDaoReq">
    select count(*) from gd_goods_spu gsp
    where
        gsp.is_delete=0
      and gsp.org_id=#{orgId}
</select>

三：自定义COUNT查询SQL(只适用于单表)

3.1、局限性

1.对于单表查询:分页执行的sql执行效率都慢，count执行的时候首先考虑命中索引，如果拆分出来效率能得到提升再用
2.对于多表查询：
如果查询条件仅仅只是主表中的条件，此方法适用
如果查询条件需要从表中的条件，自定义的这个count就不满足
3.缓存count，业务上总数实时性要求不高，或者总数变化不快的情况下可以使用

<dependency>
    <groupId>com.github.pagehelper</groupId>
    <artifactId>pagehelper</artifactId>
    <version>5.0.4</version>
</dependency>

3.2、使用方式

原有的代码不需要动，只需要在Mybatis的xml文件里添加一个count查询
这里注意以下三点即可：

id和对应的查询语句保持一致，并且以 _COUNT 结尾
入参和对应的查询语句保持一致
出参为 resultType=“Long”

<select id="goodsSpuList_COUNT" parameterType="com.kkd.goods.model.in.GoodsSpuListDaoReq" resultType="java.lang.Long">
    select count(*)
    from gd_goods_spu gsp
    where gsp.is_delete = 0
    and gsp.org_id = #{orgId}
</select>

四：各种模糊查询XML中示例

    <select id="goodsSpuList" parameterType="com.kkd.goods.model.in.GoodsSpuListDaoReq" resultType="com.kkd.goods.entity.GoodsSpu">

        select DISTINCT r.id dis_id,r.* from
            (
                select gsp.* from gd_goods_spu gsp
                                      LEFT JOIN gd_goods_sku gsk on gsp.spu=gsk.spu
                                      LEFT JOIN gd_goods_sku_upc gsu on gsp.spu=gsu.spu
                                      LEFT JOIN gd_goods_shop_category_relation gscr on gsp.spu=gscr.spu
                where
                 gsp.is_delete=0
                and gsp.org_id=#{orgId}
        <if test="name != null and name != '' ">
            and gsp.`name`like concat('%',#{name},'%')
        </if>

        <if test="spuList != null and spuList.size > 0">
            AND  gsp.spu IN
            <foreach item="id" index="index" collection="spuList" open="(" separator="," close=")">
                #{id}
            </foreach>
        </if>

        <if test="skuList != null and skuList.size > 0">
            AND  gsk.sku IN
            <foreach item="id" index="index" collection="skuList" open="(" separator="," close=")">
                #{id}
            </foreach>
        </if>

        <if test="upcList != null and upcList.size > 0">
            AND  gsu.upc IN
            <foreach item="id" index="index" collection="upcList" open="(" separator="," close=")">
                #{id}
            </foreach>
        </if>

        <if test="categoryCodes != null and categoryCodes.size > 0">
            AND  gsp.category_code IN
            <foreach item="id" index="index" collection="categoryCodes" open="(" separator="," close=")">
                #{id}
            </foreach>
        </if>

        <if test="shopCategoryIds != null and shopCategoryIds.size > 0">
            AND  gscr.shop_category_id IN
            <foreach item="id" index="index" collection="shopCategoryIds" open="(" separator="," close=")">
                #{id}
            </foreach>
        </if>

        <if test="ePlatformCategoryId != null">
            and gsp.e_platform_category_id=#{ePlatformCategoryId}
        </if>

        <if test="isNormal != null">
            and gsp.normal=#{isNormal}
        </if>

        <if test="imageEmpty != null  and imageEmpty == 1 ">
            and gsp.images is null
        </if>

        <if test="isMaster != null ">
            and gsp.`master` = #{isMaster}
        </if>

        <if test="masterSpu != null and masterSpu !='' ">
            and gsp.`master_spu` = #{masterSpu}
        </if>

        ORDER BY gsp.update_time desc
        ) r
    </select>

参考：Pagehelper自定义count查询

原文地址：https://blog.csdn.net/weixin_45285213/article/details/144352992

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

上一篇：kubernetes 测试开发面试题三
下一篇：分布式 & 窗口算法 & 总结

.NET(C#) 如何配置用户首选项及保存用户设置
.NET(C#) 如何配置用户首选项及保存用户设置
阅读更多2024-12-14
【最新】北大数字普惠金融指数数据集-省市县（2011-2023年）
郭峰,王靖一,王芳,孔涛,张勋,程志云.测度中国数字普惠金融发展:指数编制与空间特征[J].经济学(季刊),2020,19(04):1401-1418.时间跨度：省级和城市级指数时间跨度为2011-2
阅读更多2024-12-14
GESP202412 四级【Recamán】题解（AC）
a11ak−1−kkakak−1−kak−1k小杨想知道 Recamán 数列的前n项从小到大排序后的结果。手动计算非常困难，小杨希望你能帮他解决这个问题。
阅读更多2024-12-14
IDEA遇到EasyConnect中的网络资源无法访问的问题
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。原文链接：https://blog.csdn.net/wanshanyu_/article/de
阅读更多2024-12-14
双目摄像头标定方法
此时已经完成标定，左下角为反投影误差，右边为外参可视化。将双目左右目拍的图像上传（左右目最好不少于20张）此时回到主页面，即可看到成功导出。把这些误差大的删除即可。
阅读更多2024-12-14
Servlet、omcat服务器架构与工作原理
Servlet是运行在服务器端的Java程序，它的主要职责之一是接收并处理来自客户端（如浏览器）的HTTP请求。当客户端发送一个请求到服务器时，Servlet可以解析请求中的信息，例如请求的URL路径
阅读更多2024-12-14
Vue生命周期钩子函数：深入解析与实践
作为高级Vue前端开发人员，对Vue组件的生命周期钩子函数有着深刻的理解是至关重要的。生命周期钩子函数是指在Vue组件的创建、更新、销毁等过程中，Vue自动调用的一系列方法。通过这些钩子函数，我们可以
阅读更多2024-12-14
安卓开发--使用android studio发布APP
app发布
阅读更多2024-12-14
数据结构与算法学习笔记----拓扑排序
@ author: 明月清了个风。
阅读更多2024-12-14
python 将数据保存到现有的Excel文件的新工作表
out_file = ‘query.xlsx’df1 = pd.DataFrame(out_data)若直接写入：df1.to_excel(out_file, index=False, sheet_n
阅读更多2024-12-14

PageHelper自定义Count查询及其优化