从bio到nio：了解Linux中的I/O模型 (linux nio bio)
随着计算机技术的不断发展，我们的日常生活中离不开各类设备和软件的帮助。而在这些设备和软件中，I/O（输入输出）操作占据了非常重要的地位，它也是计算机系统中最常用的操作之一。以Linux操作系统为例，本文将从bio（块输入输出）和nio（新输入输出）两个方面来介绍Linux中的I/O模型。
1. bio
bio是Linux操作系统中最早的I/O模型之一，它是块设备驱动程序接口的一部分。在使用bio时，应用程序可以将I/O请求发送给块设备驱动程序，而驱动程序将请求传递给硬件设备。换句话说，bio是一种“阻塞”I/O模型，因为应用程序在等待I/O完成之前会一直被阻塞。
由于bio的阻塞特性，它的效率并不高。在多个I/O请求同时到达时，bio只能顺序地处理这些请求，因此会出现I/O请求阻塞的情况。也就是说，在等待前一个请求完成之前，后续相关的I/O请求都无法处理。此外，在进行I/O读写时，bio也是将整块数据读写，而无法进行数据的拆分和合并操作。
2. nio
nio是一种“非阻塞”I/O模型，它在Linux操作系统中得到广泛应用。与bio不同的是，nio提供了更高效和灵活的I/O操作。它采用异步I/O机制，应用程序可以在等待I/O完成的同时继续执行其他操作，而不必一直等待I/O完成。
nio的优势主要体现在两个方面：一方面，在进行I/O读写时，nio可以将数据拆分成多个小块进行读写，这样可以更好地适应硬件设备的特性，提高I/O效率；另一方面，nio可以支持多个I/O请求并发执行，从而减少I/O查询的阻塞时间，提高系统的吞吐量。
此外，nio还提供了很多高级的I/O操作方式，比如epoll机制、信号驱动I/O和异步I/O等，并且能够对不同类型的I/O任务进行分类和调度。这些高级特性让nio成为了当前Linux操作系统下更流行的I/O模型之一。
3. bio和nio的比较
来说，bio和nio是两种不同的I/O模型，它们各有优缺点。bio可以很好地适应传输大数据块的I/O操作，并且在单线程环境下运作流畅，但它的阻塞特性会影响系统的效率。而nio在处理大量小数据块时效率更高，可以处理更多的并发请求，并且可以灵活地对不同类型的I/O任务进行管理，但它需要较为复杂的逻辑处理。
对于开发人员来说，bio和nio的选择是根据应用场景来决定的。如果需要进行大数据块的I/O读写，或者只有少量的并发请求，那么bio是一个不错的选择。而如果需要进行大量小数据块的I/O读写，或者需要支持大量的并发请求，那么nio是更加合适的选择。
I/O操作是计算机系统中非常关键的一部分，对于操作系统和应用程序的性能有很大的影响。bio和nio是Linux操作系统中两种不同类型的I/O模型，它们各具优势，应用场景也不同。了解bio和nio的特点和使用方式，可以帮助我们更好地进行I/O操作，提高Linux系统的效率和性能。
相关问题拓展阅读：
Linux系统I/O操作与零拷贝
Linux中传统的I/O操作是一种缓存I/O，I/O过程中产生的数据传输通常需要在缓冲区中进行多次拷贝。当应用程序需要访问某个数据（read()操作）时，操作系统会先判断这块数据是否在内核缓冲区中，如果在内核缓冲区中找不到这块数据，内核会先将这块数据从磁盘中读出来放到内核缓冲区中，应用程序再从缓冲区中读取。当应用程序需要将数据输出（write()）时，同样需要先将数据拷贝到输出堆栈相关的内核缓冲区，再从内核缓冲区拷贝到输出设备中。
以一次网络请求为例，如下图。对于一次数据读取，用户应用程序只需要调用read（）及write（）两个系统调用就可以完成一次数据传输，但这个过程中数据经过了四次拷贝，且数据拷贝需要由CPU来调控。在某些情况下，这些数据拷贝会极大地降低系统数据传输的性能，比如文件服务器中，一个文件从磁盘读取后不加修改地回传给调用方，那么这占用CPU时间去处理这四次数据拷贝的性价比是极低的。
一次处理网络调用的系统I/O的流程：
以上可以发现，传统的Linux系统I/O 操作要进行4次内核空间与应用程序空间的上下文切换，以及4次数据拷贝。
直接内存访问（Direct Memory Access，DMA）是计算机科学中的一种内存访问技术，允许某些电脑内部的硬件子系统独立地读取系统内存，而不需要中央处理器（CPU）的介入。在同等程度的处理器负担乱薯毕下，DMA是一种快速的数据传送方式。这类子系统包括硬盘控制器、显卡、网卡和声卡。
在Linux系统中，当应用程序需要读取文件中的数据时，操作系统先分配一些内存，将数据从存储设备读入到这些内存中，然后再将数据传递应用进程；当需要往文件中写数据时，操作系统先分配内存接收用户数据，然后再将数据从内存写入磁盘。文件cache管理就是对这些由操作系统分配并用开存储文件数据的内存的管理。
在Linux系统中，文件cache分为两个层面，page cache 与 Buffer cache，每个page cache包含若干个buffer cache。操作系统中，磁盘文件都是由一系列的数据块（Block）组成，buffer cache也叫块缓存，是对磁盘一个数据块的缓存，目的是为了在程序多次访问同一个磁盘块时减少访问时间；而文件系统对数据的组织形式为页，page cache为页缓存，是由多个块缓存构成，其对应的缓存数据块在磁盘上不一定是连续的。也就是说buffer cache缓存文件的具体内容–物理磁盘上的磁盘块，加速对磁盘的访问，而page cache缓存文件的逻辑内容，加速对文件内容的访问。
buffer cache的大小一般为1k，page cache在32位系统上一般为4k，在64位系统上一般为8k。磁盘数据块、buffer cache、page cache及文件的关系如下图：
文件cache的目的是加快对数据文件的访问，同时会有一个预读过程。对于每个文件的之一次读请求，系统会读入所请求的页面并读入紧随其后的几个页面；对于第二次读请求，如果所读页面在cache中，则会直接返回，同时又一个异步预读的过程（将读取页面的下几页读入cache中），如果不在cache中，说明读请求不是顺序读，则会从磁盘中读取文件内容并刷新cache。因此在顺序读取情况下，读取数据的性能近乎内存读取。
DMA允许硬件子系手镇统直接将数据从磁盘读取到内核缓冲区，那么在一次数据传输中，磁盘与内核缓冲区，输出设备与内核缓冲区之间的两次数据拷贝就不需要CPU进行调度，CPU只需要进行缓冲区管哗芹理、以及创建和处理DMA。而Page Cache/Buffer Cache的预读取机制则加快了数据的访问效率。如下图所示，还是以文件服务器请求为例，此时CPU负责的数据拷贝次数减少了两次，数据传输性能有了较大的提高。
使用DMA的系统I/O操作要进行4次内核空间与应用程序空间的上下文切换，2次CPU数据拷贝及2次DMA数据拷贝。
Mmap内存映射与标准I/O操作的区别在于当应用程序需要访问数据时，不需要进行内核缓冲区到应用程序缓冲区之间的数据拷贝。Mmap使得应用程序和操作系统共享内核缓冲区，应用程序直接对内核缓冲区进行读写操作，不需要进行数据拷贝。Linux系统中通过调用mmap()替代read()操作。
同样以文件服务器获取文件（不加修改）为例，通过mmap操作的一次系统I/O过程如下：
通过以上流程可以看到，数据拷贝从原来的4次变为3次，2次DMA拷贝1次内核空间数据拷贝，CPU只需要调控1次内核空间之间的数据拷贝，CPU花费在数据拷贝上的时间进一步减少（4次上下文切换没有改变）。对于大容量文件读写，采用mmap的方式其读写效率和性能都比较高。（数据页较多，需要多次拷贝）
注：mmap()是让应用程序空间与内核空间共享DMA从磁盘中读取的文件缓冲，也就是应用程序能直接读写这部分PageCache，至于上图中从页缓存到socket缓冲区的数据拷贝只是文件服务器的处理，根据应用程序的不同会有不同的处理，应用程序也可以读取数据后进行修改。重点是虚拟内存映射，内核缓存共享。
djk中nio包下的MappedByteBuffer，官方注释为
A direct byte buffer whose content is a memory-mapped region of a file，即直接字节缓冲区，其内容是文件的内存映射区域。
FileChannel是是nio操作文件的类，其map()方法在在实现类中调用native map0()本地方法，该方法通过mmap()实现，因此是将文件从磁盘读取到内核缓冲区，用户应用程序空间直接操作内核空间共享的缓冲区，Java程序通过MappedByteBuffer的get()方法获取内存数据。
MappedByteBuffer允许Java程序直接从内存访问文件，可以将整个文件或文件的一部分映射到内存中，由操作系统进行相关的请求并将内存中的修改写入到磁盘中。
FileChannel map有三种模式
MappedByteBuffer的应用，以rocketMQ为例（简单介绍）。
producer端发送消息最终会被写入到commitLog文件中，consumer端消费时先从订阅的consumeQueue中读取持久化消息的commitLogOffset、size等内容，随后再根据offset、size从commitLog中读取消息的真正实体内容。其中，commitLog是混合部署的，所有topic下的消息队列共用一个commitLog日志数据文件，consumeQueue类似于索引，同时区分开不同topic下不同MessageQueue的消息。
rocketMQ利用MappedByteBuffer及PageCache加速对持久化文件的读写操作。rocketMQ通过MappedByteBuffer将日志数据文件映射到OS的虚拟内存中（PageCache）,写消息时首先写入PageCache，通过刷盘方式（异步或同步）将消息批量持久化到磁盘；consumer消费消息时，读取consumeQueue是顺序读取的，虽然有多个消费者操作不同的consumeQueue，对混合部署的commitLog的访问时随机的，但整体上是从旧到新的有序读，加上PageCache的预读机制，大部分情况下消息还是从PageCache中读取，不会产生太多的缺页中断（要读取的消息不在pageCache中）而从磁盘中读取。
rocketMQ利用mmap()使程序与内核空间共享内核缓冲区，直接对PageCache中的文件进行读写操作，加速对消息的读写请求，这是其高吞吐量的重要手段。
使用mmap能减少CPU数据拷贝的次数，但也存在一些问题。
从Linux2.1开始，Linux引入sendfile()简化操作。取消read()/write()，mmap()/write()。
调用sendfile的流程如下：
通过sendfile()的I/O进行了2次应用程序空间与内核空间的上下文切换，以及3次数据拷贝，其中2次是DMA拷贝，1次是CPU拷贝。sendfile相比起mmap，数据信息没有进入到应用程序空间，所以能减少2次上下文切换的开销，而数据拷贝次数是一样的。
上述流程也可以看出，sendfile()适合对文件不加修改的I/O操作。
sendfile()只是减少应用程序空间与内核空间的上下文切换，并没有减少CPU数据拷贝的次数，还存在一次内核空间的两个缓冲区的数据拷贝。要实现CPU零数据拷贝，需要引入一些硬件上的支持。在上一小节的sendfile流程中，数据需要从内核缓冲区拷贝到内核空间socket缓冲区，数据都是在内核空间，如果socket缓冲区到网卡的这次DMA数据传输操作能直接读取到内核缓冲区中的数据，那么这一次的CPU数据拷贝也就能避免。要达到这个目的，DMA需要知道存有文件位置和长度信息的缓冲区描述符，即socket缓冲区需要从内核缓冲区接收这部分信息，DMA需要支持数据收集功能。
sendfile()调用后，数据从磁盘文件拷贝到内核缓冲区中，然后将文件位置和长度信息的缓冲区描述符传递到socket缓冲区，此时数据并没有被拷贝。之后网卡子系统根据socket缓冲区中的文件信息利用DMA技术收集拷贝数据。整个过程进行了2次内核空间和应用程序空间的上下文切换，及2次DMA数据拷贝，CPU不需要参与数据拷贝工作，从而实现零拷贝。当然DMA收集拷贝功能需要硬件和驱动程序的支持。
在操作系统中，硬件和软件之间的数据传输可以通过DMA来进行，DMA进行数据传输的过程几乎不需要CPU参与，但是在内核缓冲区（页缓存）与应用程序缓冲区之间的数据拷贝并没有类似于DMA之类的工具可以使用，mmap、sendfile都是为了减少数据在内核空间与应用程序空间传输时的数据拷贝和上下文切换次数，有效地改善数据在两者之间传递的效率。
linux操作系统的零拷贝技术并不单指某一种方式，现有的零拷贝技术种类非常多，在不同的Linux内核版本上有不同的支持。常见的，如果应用程序需要修改数据，则使用mmap()，如果只进行文件数据传输，则可选择sendfile()。
另外，关于零拷贝技术适用于什么场景？在上述的描述中，数据在传递过程中，除了mmap外，应用程序和操作系统几乎是没有改变数据的，mmap的内存映射也是没有改变数据的，也就是说在静态资源的读取场景下，零拷贝更能发挥作用。正如其名，拷贝是在不改变数据的情况下，零是利用手段去减少CPU参与数据拷贝的次数，以释放CPU去进行其他系统调用与计算。
Web中间件——Tomcat中的BIO、NIO、APR模式
Tomcat在我们日常开发B/S项目时常常进行使用，当然在Spring全家桶中我们现在也是使用的内置tomcat，但是很多人可能不会对于tomcat进行深入性研究，其实在我们的产品进行性能提升时，web中间件的优化也是占有很大一部分，而tomcat中采用不同的模式对应的使用场景下性能也是不一样的，因此本篇文章将对于这几个模式进行简单讲解，后如帆续我们会对于不同的模式进行配置方式讲解。
阻塞式I/O操作，这个模式使用的是Java I/O操作。该运行方式性能更低。
基于Java 缓存区提供非阻塞式I/O操作，相比BIO，该运行方式有更好的性能。当前tomcat7及以上版本默认采用该模式。
以JNI的形式调用Apache HTTP服务器的核心动态链接轿灶库来处理文件读取或网络传输操作，有效提高静态文件的处理性能。该运行方式对于高并发场景性能更高（当然高并发还有其他优化点）。闭橡扮
注：APR配置方式可以参见 我的文章
linux nio bio的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于linux nio bio,从bio到nio：了解Linux中的I/O模型,Linux系统I/O操作与零拷贝,Web中间件——Tomcat中的BIO、NIO、APR模式的信息别忘了在本站进行查找喔。
