使用数据库批量插入与循环单个插入：优势与区别

🕗 发布于 2024-11-22 00:18 数据库 oracle

在开发数据库应用程序时，插入大量数据是一个常见的需求。无论是数据初始化、数据迁移还是日志记录，插入操作的性能和可靠性都是至关重要的。本文将探讨两种常见的插入方法：数据库批量插入和使用循环单个插入，分析它们的优势和区别，并提供示例代码。

1. 批量插入

批量插入是指在一次数据库操作中插入多条记录。这种方法在处理大量数据时表现出显著的性能优势。以下是批量插入的主要优势：

1.1 性能提升

减少网络开销：批量插入可以减少与数据库服务器的网络通信次数。通常，一次网络通信的成本远高于数据库内部的处理成本。
减少事务管理开销：在一个事务中批量插入多条记录可以减少事务的管理和提交次数，提高事务处理的效率。
减少数据库日志开销：数据库的日志记录也会减少，因为只需要记录一次插入操作，而不是多次。

1.2 简化代码

代码简洁：批量插入的代码更加简洁，减少了很多重复的插入逻辑，易于编写和维护。
逻辑统一：所有的插入操作都在一个SQL语句中完成，逻辑更加统一，不容易出错。

1.3 示例代码

假设我们有一个Student类和一个StudentMapper接口，使用MyBatis框架进行批量插入。

Student类

public class Student {
    private String name;
    private int age;
    private String addr;
    private int addrNum;

    // Getters and Setters
    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public int getAge() {
        return age;
    }

    public void setAge(int age) {
        this.age = age;
    }

    public String getAddr() {
        return addr;
    }

    public void setAddr(String addr) {
        this.addr = addr;
    }

    public int getAddrNum() {
        return addrNum;
    }

    public void setAddrNum(int addrNum) {
        this.addrNum = addrNum;
    }
}

StudentMapper接口

import org.apache.ibatis.annotations.Insert;
import org.apache.ibatis.annotations.Param;

import java.util.List;

public interface StudentMapper {
    @Insert("<script>" +
            "insert into student (name, age, addr, addr_num) values " +
            "<foreach collection='studentList' item='item' separator=','>" +
            "  (#{item.name}, #{item.age}, #{item.addr}, #{item.addrNum})" +
            "</foreach>" +
            "</script>")
    int insertSplice(@Param("studentList") List<Student> studentList);
}

Service类

import org.apache.ibatis.session.SqlSession;
import org.apache.ibatis.session.SqlSessionFactory;

import java.util.ArrayList;
import java.util.List;

public class StudentService {
    private final SqlSessionFactory sqlSessionFactory;

    public StudentService(SqlSessionFactory sqlSessionFactory) {
        this.sqlSessionFactory = sqlSessionFactory;
    }

    public int insertStudents(List<Student> studentList) {
        try (SqlSession session = sqlSessionFactory.openSession()) {
            StudentMapper mapper = session.getMapper(StudentMapper.class);
            int result = mapper.insertSplice(studentList);
            session.commit();
            return result;
        } catch (Exception e) {
            e.printStackTrace();
            return 0;
        }
    }

    public static void main(String[] args) {
        // 初始化SqlSessionFactory
        SqlSessionFactory sqlSessionFactory = ...; // 你的初始化代码

        StudentService service = new StudentService(sqlSessionFactory);

        List<Student> studentList = new ArrayList<>();
        Student student1 = new Student();
        student1.setName("Alice");
        student1.setAge(20);
        student1.setAddr("New York");
        student1.setAddrNum(1);
        studentList.add(student1);

        Student student2 = new Student();
        student2.setName("Bob");
        student2.setAge(22);
        student2.setAddr("Los Angeles");
        student2.setAddrNum(2);
        studentList.add(student2);

        int result = service.insertStudents(studentList);
        System.out.println("插入结果: " + result);
    }
}

2. 循环单个插入

循环单个插入是指在一个循环中逐条插入记录。这种方法适用于需要灵活处理每条记录的插入逻辑，或者插入数据量较小且需要逐条处理错误的场景。以下是循环单个插入的主要优势：

2.1 灵活性

灵活处理：可以在插入每条记录时进行更多的逻辑判断和处理，例如验证数据的有效性、进行复杂的业务逻辑等。
错误处理：可以逐条处理插入时的错误，如果某一条记录插入失败，可以立即捕获并处理，而不是整个批量操作失败。

2.2 事务管理

精细控制：可以更精细地控制事务的提交时间。例如，可以在插入若干条记录后提交一次事务，而不是一次性提交所有记录。

2.3 适合小数据量

直观易懂：对于数据量较小的插入操作，单个插入的代码更加直观和易于理解。

2.4 示例代码

假设我们有一个Student类和一个StudentMapper接口，使用MyBatis框架进行单个插入。

Student类

public class Student {
    private String name;
    private int age;
    private String addr;
    private int addrNum;

    // Getters and Setters
    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public int getAge() {
        return age;
    }

    public void setAge(int age) {
        this.age = age;
    }

    public String getAddr() {
        return addr;
    }

    public void setAddr(String addr) {
        this.addr = addr;
    }

    public int getAddrNum() {
        return addrNum;
    }

    public void setAddrNum(int addrNum) {
        this.addrNum = addrNum;
    }
}

StudentMapper接口

import org.apache.ibatis.annotations.Insert;
import org.apache.ibatis.annotations.Param;

public interface StudentMapper {
    @Insert("insert into student (name, age, addr, addr_num) values (#{name}, #{age}, #{addr}, #{addrNum})")
    int insertStudent(Student student);
}

Service类

import org.apache.ibatis.session.SqlSession;
import org.apache.ibatis.session.SqlSessionFactory;

import java.util.ArrayList;
import java.util.List;

public class StudentService {
    private final SqlSessionFactory sqlSessionFactory;

    public StudentService(SqlSessionFactory sqlSessionFactory) {
        this.sqlSessionFactory = sqlSessionFactory;
    }

    public int insertStudents(List<Student> studentList) {
        try (SqlSession session = sqlSessionFactory.openSession()) {
            StudentMapper mapper = session.getMapper(StudentMapper.class);
            int result = 0;
            for (Student student : studentList) {
                result += mapper.insertStudent(student);
            }
            session.commit();
            return result;
        } catch (Exception e) {
            e.printStackTrace();
            return 0;
        }
    }

    public static void main(String[] args) {
        // 初始化SqlSessionFactory
        SqlSessionFactory sqlSessionFactory = ...; // 你的初始化代码

        StudentService service = new StudentService(sqlSessionFactory);

        List<Student> studentList = new ArrayList<>();
        Student student1 = new Student();
        student1.setName("Alice");
        student1.setAge(20);
        student1.setAddr("New York");
        student1.setAddrNum(1);
        studentList.add(student1);

        Student student2 = new Student();
        student2.setName("Bob");
        student2.setAge(22);
        student2.setAddr("Los Angeles");
        student2.setAddrNum(2);
        studentList.add(student2);

        int result = service.insertStudents(studentList);
        System.out.println("插入结果: " + result);
    }
}

3. 优势与区别总结

特性	批量插入	循环单个插入
性能	高（减少网络开销、事务管理开销、日志开销）	低（多次网络通信、事务管理开销、日志开销）
代码简洁性	高（一次SQL语句完成所有插入）	低（需要循环和多次调用插入方法）
错误处理	低（所有记录一起处理）	高（逐条处理错误）
事务管理	低（一次性提交所有记录）	高（可以逐条提交或分批提交）
灵活性	低（无法在插入时进行复杂逻辑）	高（可以在插入时进行复杂逻辑）
适用场景	大数据量、性能要求高	小数据量、需要灵活处理和错误处理

4. 选择合适的插入方法

选择批量插入还是循环单个插入，取决于你的具体需求和应用场景：

如果需要高效插入大量数据，且数据格式一致，建议使用批量插入。
如果需要灵活处理每条记录的插入逻辑，或者插入数据量较小且需要逐条处理错误，建议使用循环单个插入。

5. 结论

在数据库插入操作中，批量插入和循环单个插入各有优劣。批量插入能够显著提升性能，适用于大数据量的场景；而循环单个插入则更加灵活，适合小数据量和需要逐条处理错误的场景。

希望你喜欢这篇文章！请点关注和收藏吧。你的关注和收藏会是我努力更新的动力，祝关注和收藏的帅哥美女们今年都能暴富。如果有更多问题，欢迎随时提问

原文地址：https://blog.csdn.net/m0_64974617/article/details/143904105

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

上一篇：【无标题】基于知识图谱的健康咨询系统
下一篇：udp_socket

云计算-华为HCIA-学习笔记
平均时间：平均寻道时间，平均等待时间，平均寻道时间指的是磁头切换到目标磁道所需要的时间，平均等待时间指的是磁头到达指定磁道之后，切换到目标扇区的时间。SCSI卡是SCSI控制卡的简称。所有的服务器都可
阅读更多2024-11-25
【Linux】基础-文件系统
文件系统介绍，ext2文件系统，文件系统函数，递归遍历函数，虚拟文件系统
阅读更多2024-11-25
气膜场馆照明设计：科技与环保的完美结合—轻空间
气膜场馆的照明设计，选用高效节能的400瓦LED灯具，结合现代节能技术，提供强大而均匀的光照。科学的照明设计不仅提升了气膜场馆的实用性，还满足了日常训练、体育比赛和大型文艺活动的多样化需求。无论是专业
阅读更多2024-11-25
python-docx -- 读取word页眉、页脚
基于python-docx解析word文档的页眉、页脚；
阅读更多2024-11-25
Python操作neo4j库py2neo使用之创建和查询（二）
【代码】## Python操作neo4j库py2neo使用之创建和查询（二）
阅读更多2024-11-25
使用flink编写WordCount
1. env-准备环境2. source-加载数据转换4. sink-数据输出5. execute-执行。
阅读更多2024-11-25
Ros2 操作指令记录
ros2 pkg create --build-type {cmake,ament_cmake,ament_python} --dependencies
阅读更多2024-11-25
详细描述一下Elasticsearch搜索的过程?
详细描述一下Elasticsearch搜索的过程?
阅读更多2024-11-25
编程中的字节序问题
字节序（Endianness）是指计算机以二进制格式存储和处理多字节数据时，字节的排列顺序。它主要决定了在存储和传输过程中，数据的高字节和低字节如何被排列。字节序是计算机体系结构中非常重要的一个概念，
阅读更多2024-11-25
#渗透测试#SRC漏洞挖掘#网络运维# 黑客脚本编写终章之重定向与脚本调用
免责声明本教程仅为合法的教学目的而准备，严禁用于任何形式的违法犯罪活动及其他商业行为，在使用本教程前，您应确保该行为符合当地的法律法规，继续阅读即表示您需自行承担所有操作的后果，如有异议，请立即停止
阅读更多2024-11-25