Linux IO如何解决高负载问题 (linux io负载很高)

在当今的技术环境中，Linux已经成为了许多领域的首选操作系统。它的可靠性以及灵活性是它更大的特点。但是，一个经常出现的问题是高负载。在高负载情况下，Linux的IO子系统通常是最脆弱的。本文将探讨。

什么是高负载？

在处理大量请求、数据和操作的情况下，服务器负载就可能达到顶峰。在这种情况下，处理请求的速度会显着下降，导致响应时间增加。这种情况被认为是高负载的主要原因之一。

而当服务器响应慢，处理请求的速度变慢，这就会对整个系统产生影响，用户会体验到黑屏、停滞和其他问题。如果高负载长时间持续，就有可能导致系统崩溃，这对于一些必须保证可靠性的应用程序来说是毁灭性的。

Linux IO的问题

虽然Linux已经在IO方面做了很多改进，但是当面临高负载_io_压力时，Linux IO子系统往往会成为系统的瓶颈。IO 子系统不仅要处理内存中的文件读写，还要与磁盘或其他设备交互。对于高负载IO操作，Linux IO子系统面临的问题主要有以下几个：

1. 系统调用过多

当系统调用次数增加时，就会导致出现很多开销和延迟。如果IO子系统在高负载情况下频繁调用，就会导致响应时间大幅降低。

2. 磁盘性能

IO操作的绝大部分时间用于磁盘的读写。当读取时，需要从存储设备中搜索数据块，然后将数据块移动到内存中。当写入数据时，将内存中的数据块写入磁盘中。如果磁盘太慢，IO处理就会变得很慢。

3. 内存分配

当IO子系统需要分配大量内存时，会出现内存碎片，从而影响IO性能。此时，IO系统需要对内存进行管理，以便将对内存的分配和释放操作最小化。

解决高负载IO问题的方法

1. 内存优化

Linux IO系统在处理IO时通常需要很多内存。因此，对于高负载的IO操作，内存的管理和使用变得尤为重要。在内存管理方面，可以使用一些技术，例如：

a) 使用主动清理内存的工具。Linux操作系统中有许多内存清理工具。例如，使用swapiness和OOM参数来调整内存使用策略。memstat和aps命令可以帮助查看哪些进程占用了内存和内存泄漏的情况。

b) 通过IO内存池来减少内存碎片。如可以使用kmem_cache_create() API 或者SLAB内存分配器。

c) 使缓存更有效。Linux使用Page Cache来提高瞬态IO的性能。可以使用vfs_cache_pressure参数来调整Page Cache的优先级。

2. 按需加载

对于IO密集型应用程序，可以使用“按需加载”技术，这可以延迟文件的打开和读取，在需要时加载并读取文件。此外，可以采用一些工具来监控使用情况，以确定哪些文件需要在何时加载。

3. 使用缓存技术

缓存技术可减少IO操作的数量，从而提高性能。通常，缓存技术涉及到使用内存来存储磁盘数据的一部分，以便加快数据读取速度。进一步的优化可通过将缓存与磁盘之间的数据异步化以避免延时。

4. 块I/O调度优化

块I/O调度器决定了块设备的输入输出顺序，如果优化块I/O调度器可以提高磁盘的数据读写效率。优化块I/O调度可以使用多个方法，例如：

a) 调整I/O调度器，以将磁盘访问时间最短的请求放在优先级更高的队列中。

b) 将请求合并以减少磁盘寻址的次数。

c) 设置读写缓存大小以获得更佳磁盘读写速度。

结论

当面临高负载的时候，Linux IO子系统会成为系统的瓶颈。但是，可以采用一些技术和方法来优化IO子系统，以提高系统的处理速度和可靠性。通过内存优化、按需加载、使用缓存技术和块I/O调度优化，可以有效地解决Linux IO高负载问题。

相关问题拓展阅读：

• 如何提高Linux服务器磁盘io性能

如何提高Linux服务器磁盘io性能

您好，很高兴为您解答。

在现有文件系统下进行优化：

linux内核和各个文件系统采用了几个优化方案来提升磁盘访问速度。但这些优化方案需要在我们的服务器设计中进行配合才能得到充分发挥。

文件系统缓存

linux内核会将大部分空闲内存交给虚拟文件系统，来作为文件缓存，叫做page cache。在内存不足时，这部分内存会采用lru算法进行淘汰。通过free命令查看内存，显示为cached的部分就是文件缓存了。

如何针对性优化：

lru并不是一个优秀淘汰算法，lru更大的优势是普适性好，在各种使用场景下都能起到一定的效果。如果能找到当前使用场景下，文件被访问的统计特征，针 对性的写一个淘汰算法，可以大幅提升文件缓存的命中率。对于http正向代理来说，一个好的淘汰算法可以用1GB内存达到lru算法100GB内存的缓存 效果。如果不打算写一个新镇李的淘汰算法，一般不需要在应用层再搭一个文件cache程序来做缓存。

最小分配：

当文件扩大，需要分配磁盘空间时，大部分文件系统不会仅仅只分配当前需要的磁盘空间，而是会多分配一些磁盘空间。这样下次文件扩大时就可以使用已经分配好的空间，而不会频繁的去分配新空间。

例如ext3下，每次分配磁盘空间时，最小是分配8KB。

最小分配的副作用是会浪费一些磁盘空间（分配了但是又没有使用）

如何针对性优化：

我们在reiserfs下将最小分配空间从8KB改大到128K后提升了30%的磁盘io性能。如果当前使用场景下小文件很多，把预分配改大就会浪费很多 磁盘空间，所以这个数值要根据当前使用场景来设定。似乎要直接改源代码才能生效，不太记得了，09年的时候改的，冲敏有兴趣的同学自己google吧。

io访问调度：

在同时有多个io访问时，linux内核可以对这些io访问按LBA进行合并和排序，这样磁头在移动时，可以“顺便”读出移动过程中的数据。

SATA等磁盘甚至在磁盘中内置了io排序来进一步提升性能，一般需要在主板中进行配置才能启动磁盘内置io排序。linux的io排序是根据LBA进行御判迟的，但LBA是一个一维线性地址，无法完全反应出二维的圆形磁盘，所以磁盘的内置io排序能达到更好的效果。

如何针对性优化：

io访问调度能大幅提升io性能，前提是应用层同时发起了足够的io访问供linux去调度。

怎样才能从应用层同时向内核发起多个io访问呢？

方案一是用aio_read异步发起多个文件读写请求。

方案二是使用磁盘线程池同时发起多个文件读写请求。

对我们的http正向代理来说，采用16个线程读写磁盘可以将性能提升到2.5倍左右。具体开多少个线程/进程，可以根据具体使用场景来决定。

小提示：

将文件句柄设置为非阻塞时，进程还是会睡眠等待磁盘io，非阻塞对于文件读写是不生效的。在正常情况下，读文件只会引入十几毫秒睡眠，所以不太明显；而在磁盘io极大时，读文件会引起十秒以上的进程睡眠。

预读取：

linux内核可以预测我们“将来的读请求”并提前将数据读取出来。通过预读取可以减少读io的次数，并且减小读请求的延时。

如何针对性优化：

预读取的预测准确率是有限的，与其依赖预读取，不如我们直接开一个较大的缓冲区，一次性将文件读出来再慢慢处理；尽量不要开一个较小的缓冲区，循环读文件/处理文件。

虽然说“预读取”和“延迟分配”能起到类似的作用，但是我们自己扩大读写缓冲区效果要更好。

延迟分配：

当文件扩大，需要分配磁盘空间时，可以不立即进行分配，而是暂存在内存中，将多次分配磁盘空间的请求聚合在一起后，再进行一次性分配。

延迟分配的目的也是减少分配次数，从而减少文件不连续。

延迟分配的副作用有几个：

1、如果应用程序每次写数据后都通过fsync等接口进行强制刷新，延迟分配将不起作用

2、延迟分配有可能间歇性引入一个较大的磁盘IO延时（因为要一次性向磁盘写入较多数据）

只有少数新文件系统支持这个特性

如何针对性优化：

如果不是对安全性（是否允许丢失）要求极高的数据，可以直接在应用程序里缓存起来，积累到一定大小再写入，效果比文件系统的延迟分配更好。如果对安全性要求极高，建议经常用fsync强制刷新。

在线磁盘碎片整理：

Ext4提供了一款碎片整理工具，叫e4defrag，主要包含三个功能：

1、让每个文件连续存储

2、尽量让每个目录下的文件连续存储

3、通过整理空闲磁盘空间，让接下来的分配更不容易产生碎片

如何针对性优化：

“让每个目录下的文件连续存储”是一个极有价值的功能。

传统的做法是通过拼接图片来将这10张图片合并到一张大图中，再由前端将大图切成10张小图。

有了e4defrag后，可以将需连续访问的文件放在同一个文件夹下，再定期使用e4defrag进行磁盘整理。

实现自己的文件系统：

在大部分服务器上，不需要支持“修改文件”这个功能。一旦文件创建好，就不能再做修改操作，只支持读取和删除。在这个前提下，我们可以消灭所有文件碎片，把磁盘io效率提升到理论极限。

有一个公式可以衡量磁盘io的效率：

磁盘利用率 = 传输时间/（平均寻道时间+传输时间）

如若满意，请点击回答右侧【采纳答案】，如若还有问题，请点击【追问】

~ O(∩_∩)O~

关于linux io负载很高的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。