Linux 零拷贝技术

🕗 发布于 2024-11-10 08:07 linux 服务器 网络

在很多的博客文章里面，已经见到过零拷贝这个词，会不禁的发出一些疑问，什么是零拷贝？

从字面上我们很容易理解出，零拷贝包含两个意思：

拷贝：就是指数据从一个存储区域转移到另一个存储区域。
零：它表示拷贝数据的次数为 0。

零拷贝就是不需要将数据从一个存储区域复制到另一个存储区域。

果真是这样的吗？

最早的零拷贝定义，来源于 Linux 系统的 sendfile 方法逻辑！

在 Linux 2.4 内核中，sendfile 系统调用方法，可以将磁盘数据通过 DMA 拷贝到内核态 Buffer 后，再通过 DMA 拷贝到 NIC Buffer(socket buffer)，无需 CPU 拷贝，这个过程被称之为零拷贝。

从这段描述里面我们可以得知，站在操作系统的角度，零拷贝没有说不需要拷贝数据，而是省掉了 CPU 拷贝环节，减少了不必要的拷贝次数，提升数据拷贝效率。

要想深度的了解这里面的原理，我们还得从 IO 拷贝机制说起！

02、IO 拷贝机制介绍

2.1、传统数据拷贝流程

以客户端从服务器下载文件为例，熟悉服务端开发的同学可能知道，服务端需要做两件事：

第一步：从磁盘中读取文件内容
第二步：将文件内容通过网络传输给客户端

事实上看似简单的操作，里面的流程却没那么简单，例如应用程序从磁盘中读取文件内容的操作，大体会经过以下几个流程：

第一步：用户应用程序调用 read 方法，向操作系统发起 IO 请求，CPU 上下文从用户态转为内核态，完成第一次 CPU 切换
第二步：操作系统通过 DMA 控制器从磁盘中读数据，并把数据存储到内核缓冲区
第三步：CPU 把内核缓冲区的数据，拷贝到用户缓冲区，同时上下文从内核态转为用户态，完成第二次 CPU 切换

整个读取数据的过程，完成了 1 次 DMA 拷贝，1 次 CPU 拷贝，2 次 CPU 切换；反之写入数据的过程，也是一样的。

整个拷贝过程，可以用如下流程图来描述！

从上图，我们可以得出如下结论，4 次拷贝次数、4 次上下文切换次数。

数据拷贝次数：2 次 DMA 拷贝，2 次 CPU 拷贝
CPU 切换次数：4 次用户态和内核态的切换

而实际 IO 读写，有时候需要进行 IO 中断，同时也需要 CPU 响应中断，拷贝次数和切换次数比预期的还要多，以至于当客户端进行资源文件下载的时候，传输速度总是不尽人意。

那有没有好的办法来提升资源拷贝的速度呢？

答案是肯定的，传统的数据拷贝流程还有很大的优化空间。

下面我们一起来看看几种其它的拷贝方式。

2.2、mmap 内存映射拷贝流程

mmap 内存映射的拷贝，指的是将用户应用程序的缓冲区和操作系统的内核缓冲区进行映射处理，数据在内核缓冲区和用户缓冲区之间的 CPU 拷贝将其省略，进而加快资源拷贝效率。

整个拷贝过程，可以用如下流程图来描述！

mmap 内存映射拷贝流程，从上图可以得出如下结论：

数据拷贝次数：2 次 DMA 拷贝，1 次 CPU 拷贝
CPU 切换次数：4 次用户态和内核态的切换

整个过程省掉了数据在内核缓冲区和用户缓冲区之间的 CPU 拷贝环节，在实际的应用中，对资源的拷贝能提升不少。

2.3、Linux 系统 sendfile 拷贝流程

在 Linux 2.1 内核版本中，引入了一个系统调用方法：sendfile。

当调用 sendfile() 时，DMA 将磁盘数据复制到内核缓冲区 kernel buffer；然后将内核中的 kernel buffer 直接拷贝到 socket buffer；最后利用 DMA 将 socket buffer 通过网卡传输给客户端。

整个拷贝过程，可以用如下流程图来描述！

Linux 系统 sendfile 拷贝流程，从上图可以得出如下结论：

数据拷贝次数：2 次 DMA 拷贝，1 次 CPU 拷贝
CPU 切换次数：2 次用户态和内核态的切换

相比 mmap 内存映射方式，Linux 2.1 内核版本中 sendfile 拷贝流程省掉了 2 次用户态和内核态的切换，同时内核缓冲区和用户缓冲区也无需建立内存映射，对资源的拷贝能提升不少。

2.4、sendfile With DMA scatter/gather 拷贝流程

在 Linux 2.4 内核版本中，对 sendfile 系统方法做了优化升级，引入 SG-DMA 技术，需要 DMA 控制器支持。

其实就是对 DMA 拷贝加入了 scatter/gather 操作，它可以直接从内核空间缓冲区中将数据读取到网卡。使用这个特点来实现数据拷贝，可以多省去一次 CPU 拷贝。

整个拷贝过程，可以用如下流程图来描述！

Linux 系统 sendfile With DMA scatter/gather 拷贝流程，从上图可以得出如下结论：

数据拷贝次数：2 次 DMA 拷贝，0 次 CPU 拷贝
CPU 切换次数：2 次用户态和内核态的切换

可以发现，sendfile With DMA scatter/gather 实现的拷贝，其中 2 次数据拷贝都是 DMA 拷贝，全程都没有通过 CPU 来拷贝数据，所有的数据都是通过 DMA 来进行传输的，这就是操作系统真正意义上的零拷贝（Zero-copy) 技术，相比其他拷贝方式，传输效率最佳。

2.5、Linux 系统 splice 零拷贝流程

在 Linux 2.6.17 内核版本中，引入了 splice 系统调用方法，和 sendfile 方法不同的是，splice 不需要硬件支持。

它将数据从磁盘读取到 OS 内核缓冲区后，内核缓冲区和 socket 缓冲区之间建立管道来传输数据，避免了两者之间的 CPU 拷贝操作。

整个拷贝过程，可以用如下流程图来描述！

Linux 系统 splice 拷贝流程，从上图可以得出如下结论：

数据拷贝次数：2 次 DMA 拷贝，0 次 CPU 拷贝
CPU 切换次数：2 次用户态和内核态的切换

Linux 系统 splice 方法逻辑拷贝，也是操作系统真正意义上的零拷贝。

#include <stdio.h>
#include <stdlib.h>
#include <fcntl.h>
#include <unistd.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <sys/socket.h>
#include <linux/un.h>

#define BUFFER_SIZE 4096

int main()
{
    int pipefd1[2], pipefd2[2];
    ssize_t nbytes;

    // 创建两个管道
    if (pipe(pipefd1) == -1) {
        perror("pipe1");
        return 1;
    }
    if (pipe(pipefd2) == -1) {
        perror("pipe2");
        close(pipefd1[0]);
        close(pipefd1[1]);
        return 1;
    }

    // 向第一个管道写入数据
    char buffer[BUFFER_SIZE];
    snprintf(buffer, BUFFER_SIZE, "This is a test data for splice example");
    write(pipefd1[1], buffer, strlen(buffer));

    // 使用splice将数据从第一个管道传输到第二个管道
    nbytes = splice(pipefd1[0], NULL, pipefd2[1], NULL, BUFFER_SIZE, SPLICE_F_MOVE);
    if (nbytes == -1) {
        perror("splice");
        close(pipefd1[0]);
        close(pipefd1[1]);
        close(pipefd2[0]);
        close(pipefd2[1]);
        return 1;
    }

    // 从第二个管道读取数据并打印
    char read_buffer[BUFFER_SIZE];
    nbytes = read(pipefd2[0], read_buffer, BUFFER_SIZE);
    if (nbytes == -1) {
        perror("read");
        close(pipefd1[0]);
        close(pipefd1[1]);
        close(pipefd2[0]);
        close(pipefd2[1]);
        return 1;
    }
    read_buffer[nbytes] = '\0';
    printf("Data received from the second pipe: %s\n", read_buffer);

    // 关闭管道
    close(pipefd1[0]);
    close(pipefd1[1]);
    close(pipefd2[0]);
    close(pipefd2[1]);

    return 0;
}

03、IO 拷贝机制对比

从上面的 IO 拷贝机制可以看出，无论是传统 IO 方式，还是引入零拷贝之后，2次 DMA copy 是都少不了的，唯一的区别就是省掉 CPU 参与环节的方式不同。

以 Linux 系统为例，拷贝机制对比结果如下！

需要注意的地方是，零拷贝所有的方式，都需要操作系统支持，具体采用哪种方式，由操作系统来决定。

参考：

潘志的研发笔记

1、https://zhuanlan.zhihu.com/p/78869158

2、https://zhuanlan.zhihu.com/p/447890038

3、https://zhuanlan.zhihu.com/p/83398714

原文地址：https://blog.csdn.net/luoye_369/article/details/143641276

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

上一篇：[Redis] Redis主从复制模式
下一篇：GIS前后端分离项目展示

Windows电脑本地部署llamafile并接入Qwen大语言模型远程AI对话实战
Windows电脑本地部署llamafile并接入Qwen大语言模型远程AI对话实战
阅读更多2024-11-23
解决vm虚拟机中ctrl键粘滞问题（一直处于按下状态）
虚拟机中点击鼠标左键没有问题，单独按下键盘也没有问题，但是如果按下键盘的同时在按下鼠标左键就会卡住。而且100%稳定复现。发现问题原因：vm版本的问题，我的版本是17.5.0，升级成17.5.2 bu
阅读更多2024-11-23
第十章 JavaScript的应用
10.1.1 JavaScript简介1 简单性JavaScript 设计之初就考虑到了非专业程序员的使用，因此它的语法相对简单，容易上手。2 动态性JavaScript 是一种解释型语言，代码可以在
阅读更多2024-11-23
非root用户安装CUDA
4.下载完成后执行.run文件，需要添加两个参数，一个是--override，用于跳过某些检查或限制；另一个是--toolkitpath，它表示安装路径，必须是自己目录下面的路径，如果是根目录就会安装
阅读更多2024-11-23
Python操作neo4j库py2neo使用之py2neo 删除及事务相关操作（三）
【代码】## Python操作neo4j库py2neo使用之py2neo 删除及事务相关操作（三）
阅读更多2024-11-23
【通俗理解】Jensen不等式与变分分布q(z)在积分计算中的应用
Jensen不等式 #变分分布 #积分计算 #期望 #凸函数 #优化问题 #下界估计 #机器学习。
阅读更多2024-11-23
「Mac玩转仓颉内测版27」基础篇7 - 字符串类型详解
本篇将介绍 Cangjie 中的字符串类型，包括字符串的定义、字面量形式、插值表达、常用操作及应用场景，帮助开发者熟练掌握字符串的使用。
阅读更多2024-11-23
数据科学与SQL：组距分组分析 | 区间分布问题
绝对值分布分析也可以理解为组距分组分析。对于某个指标而言，一个记录对应的指标值的绝对值，肯定落在所有指标值的绝对值的最小值和最大值构成的区间内，根据一定的算法，在把这个区间划分为等距离的几个小区间，，
阅读更多2024-11-23
c++编译报C1004错误的原因及解决办法
可能是你的代码文件最后没有正确的结束符，或者是缺少了一些必要的头文件或语句。默认磁盘驱动器没有足够的空间用于临时文件，需要大约两倍于源文件的空间。编译器到达了源文件尾但未解析构造。计算结果为假的 #i
阅读更多2024-11-23
mysql 去重补全取出重复变量函数和存储过程
mysql 去重补全取出重复变量函数和存储过程
阅读更多2024-11-23

Linux 零拷贝技术

02、IO 拷贝机制介绍

2.1、传统数据拷贝流程

2.2、mmap 内存映射拷贝流程

2.3、Linux 系统 sendfile 拷贝流程

2.4、sendfile With DMA scatter/gather 拷贝流程

2.5、Linux 系统 splice 零拷贝流程

03、IO 拷贝机制对比

参考：

相关文章