MySQL 的 Change Buffer 是什么？它有什么作用？
MySQL 的 Change Buffer 是什么？它有什么作用？
MySQL 是目前广泛使用的开源数据库管理系统，其中的 InnoDB 存储引擎凭借其高性能、高可靠性以及强大的事务支持，成为了默认的存储引擎。在 InnoDB 的众多优化机制中，Change Buffer 是一个相对较少被关注，但却在提升数据库性能方面发挥着重要作用的功能。
一.什么是 Change Buffer？
Change Buffer 是 MySQL InnoDB 存储引擎中的一个缓存机制，它用于缓存对 非主键索引（Secondary Indexes） 页的更改。这个缓存区的主要目的是延迟对这些索引页的写操作，以减少磁盘 I/O，从而提升数据库的写性能。
**简单来说，当我们对数据库中的二级索引执行插入、删除或更新操作时，这些操作并不会立即写入磁盘。**而是将它们先存放在 Change Buffer 中，直到相关的索引数据页被读取时，才会将这些更改刷写到磁盘。
为什么 Change Buffer 只对非唯一普通索引页有效？
Change Buffer 只对非唯一普通索引页有效，原因在于主键索引和唯一索引具有严格的数据一致性和唯一性要求，修改这些索引时通常涉及到数据行的完整更新或物理位置变化，这使得不能通过延迟写入来保证一致性。相反，非唯一普通索引的修改操作相对简单，且不直接影响行数据，因此适合通过 Change Buffer 缓存变更，减少磁盘 I/O 提高性能。主键索引通常更频繁地被查询和更新，直接写入磁盘可以确保数据的最新性，避免延迟写入引发的不一致问题。同时，限制 Change Buffer 仅应用于非唯一索引页，有助于更高效地利用内存资源，减少与主键索引频繁访问的内存竞争。因此，Change Buffer 的设计是基于数据一致性、性能优化和内存管理的综合考虑。
二.Change Buffer 的工作原理
InnoDB 存储引擎中的索引分为主键索引（Primary Index）和二级索引（Secondary Index）。Change Buffer 只作用于 二级索引，并不涉及主键索引。这是因为主键索引是聚簇索引，数据行按照主键排序存储，直接操作数据行，因此不适合使用延迟写入策略。
1. 对二级索引的操作: 更改暂存
在 InnoDB 中，二级索引是指那些非主键字段建立的索引。对于二级索引的 插入、删除和更新操作，InnoDB 会将这些修改记录到 Change Buffer 中，直到这些索引页被访问时，才会将更改刷写到磁盘。只有当磁盘中的二级索引数据页被访问（例如查询操作），或当系统触发数据页刷写操作时，这些更改才会真正写入磁盘。
2. 如何实现延迟写入:合并更改
Change Buffer 工作时的延迟写入机制主要依赖于 脏页（Dirty Pages） 的概念。在内存中，Change Buffer 会维护一份待刷写的脏页列表，这些脏页记录了尚未写入磁盘的索引更改。当某个二级索引页被访问时，InnoDB 会首先检查该页是否有尚未刷写的更改，如果有，就将更改合并到磁盘数据页中。
3. **与 Redo Log 的配合:**刷新到磁盘
Change Buffer 与 InnoDB 的 Redo Log 协同工作。在数据库崩溃恢复时，Redo Log 会确保所有已提交的事务操作能够恢复。对于那些还没有写入磁盘的数据变更，Change Buffer 会通过 Log Buffer 在系统恢复时被重做，以确保数据的一致性。
4.对旧数据的处理：定期清理
随着时间的推移，Change Buffer中的数据可能会老化或不再需要。为了保持Change Buffer的使用效率，InnoDB会定期执行清理过程，移除那些已经过时或不再需要的更改操作信息。
当我们要更新一条普通索引记录的时候：
- 如果这条记录在内存中，那么直接更新内存
- 如果该记录没有在内存中，那么就需要更新change buffer
- 更新完 change buffer 之后，MySQL会在redo log中记录下change buffer 的修改
- 事务就算完成了，后续binlog落盘，redo log commit
- 当需要读取不在内存中的记录时，会将该数据页从磁盘加载到内存，然后应用change buffer中的修改，也就是merge操作
三.如何触发Change Buffer
Change Buffer的触发时机主要是在非主键索引的更新或删除操作时。当对一个非主键索引的记录进行更改时，这些更改操作首先会被暂存到Change Buffer中。以下是Change Buffer触发的具体时机：
非主键索引的更新操作： 当一个非主键索引的记录被更新时，Change Buffer会触发并将更改操作暂存到内存中。
非主键索引的删除操作： 当一个非主键索引的记录被删除时，Change Buffer同样会触发并将该删除操作暂存到内存中。
数据页读取操作： 当从非主键索引页读取数据时，Change Buffer会检查该页是否在Change Buffer中有相关的更改。如果有，它会将这些更改应用到该页上，确保读取的数据是最新的。
需要注意的是，Change Buffer触发的时机并不是在每次数据更改时都立即触发。而是将这些更改暂存到内存中的Change Buffer区域，并在合适的时机（如数据页读取操作时）再将这些更改应用到相应的数据页上。这样可以减少频繁的磁盘I/O操作，提高数据库的性能。
此外，Change Buffer的使用时机也受到一些参数和配置的影响。例如，可以通过调整InnoDB存储引擎的相关参数来控制Change Buffer的行为和触发条件。在实际应用中，需要根据具体的业务场景和性能需求进行合理的配置和优化。
四.数据库崩溃时 Change Buffer 的行为
当 MySQL 数据库发生崩溃或停止运行时，InnoDB 会通过 Crash Recovery 机制来恢复数据库。Change Buffer 中的变更不会丢失，InnoDB 会在恢复过程中利用 Redo Log 重新应用这些未写入磁盘的更改。
具体而言：
- Change Buffer 中存储的变更（如插入、删除等）会在数据库崩溃恢复时被合并到相关的二级索引数据页。
- 恢复时，InnoDB 会检查并重新应用所有记录在 Change Buffer 中的更改，确保它们正确地反映在数据库的磁盘存储中。
五.Change Buffer 的优缺点
优点：
- 减少磁盘 I/O： Change Buffer 可以有效减少每个数据页的磁盘 I/O 操作，提升数据库性能。
- 提高写入吞吐量： 延迟写入机制提高了系统的写操作吞吐量，尤其在高并发场景下表现尤为突出。
- 减少写放大效应： 多个修改操作可以批量处理，从而减少磁盘的写放大效应。
缺点：
- 内存占用： Change Buffer 会占用一定的内存资源，若系统内存不足，可能会影响性能。
- 延迟性： 虽然 Change Buffer 可以提升写入性能，但它也引入了延迟，特别是在需要实时反映数据更改的应用中，可能不是最佳选择。
六.如何管理 Change Buffer？
InnoDB 提供了几个参数来管理 Change Buffer 的大小和行为，常用的包括：
innodb_change_buffer_max_size：这个参数设置 Change Buffer 的最大大小，默认值是 25%，即最多占用 InnoDB 缓存池的 25%。innodb_change_buffering：此参数控制哪些操作可以使用 Change Buffer。可以设置为none（禁用 Change Buffer）、insert（仅插入操作使用 Change Buffer）或all（所有修改操作都使用 Change Buffer）。innodb_change_buffer_free_percent： 这个参数定义了Change Buffer中保留给将来更改的空间百分比。当Change Buffer的使用率达到这个百分比时，InnoDB会开始将一些更改写入到磁盘上的重做日志中。
总结
MySQL 的 Change Buffer 是 InnoDB 存储引擎中的一个优化机制，它通过将对二级索引的修改操作延迟到数据页被访问时才写入磁盘，显著减少了磁盘 I/O，提升了数据库的写入性能和并发能力。对于高并发、高写入负载的数据库应用，Change Buffer 能有效降低磁盘访问压力，提高系统吞吐量。
数据页被访问时才写入磁盘，显著减少了磁盘 I/O，提升了数据库的写入性能和并发能力。对于高并发、高写入负载的数据库应用，Change Buffer 能有效降低磁盘访问压力，提高系统吞吐量。
然而，Change Buffer 并非没有缺点。它增加了内存占用，并且由于延迟写入，可能会导致某些实时应用对数据一致性的要求受到影响。因此，理解 Change Buffer 的作用和管理策略，可以帮助开发者在实际应用中合理配置和优化数据库性能。
原文地址：https://blog.csdn.net/Z1tai/article/details/143829640
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！