深入解析Linux内核中的malloc内存分配算法 (linux kernel malloc)

在Linux操作系统内核中,动态内存分配是非常常见的操作。其中,malloc内存分配算法是其中非常重要的一部分。在本文中,我们将深入了解Linux内核中的malloc内存分配算法,并从原理、实现方式以及优化方案三个方面进行阐述。

一、原理

malloc内存分配算法的核心原理就是动态内存管理。在程序运行时,其内存空间的使用是动态的,因此需要根据不同的需求灵活地分配和释放内存空间。而malloc内存分配算法就是通过一系列算法和数据结构,实现了内存的动态管理。

具体而言,malloc内存分配算法的原理如下:

1. 预留内存:malloc会向操作系统请求一块足够大的内存,以便之后分配给程序使用。这块内存一般比程序所需内存大一些,以便在程序申请内存时能够快速响应。

2. 分配内存:当程序需要使用内存时,malloc从之前分配的内存块中分配一块足够大的内存,用于程序使用。在分配之前,malloc会根据之前内存使用情况的记录(如链表),尝试寻找足够大的内存块。如果没有足够大的内存块可用,则会将之前的内存块进行整理,以便重新分配。

3. 内存释放:当程序不再需要使用某块内存时,需要通过free函数将该内存块释放。在释放内存块时,malloc会将之前使用的内存信息进行标记,并将该内存块返回给malloc内存池。如果相邻的内存块都是闲置的,malloc还会将它们合并成一块更大的空闲内存块。

二、实现方式

malloc内存分配算法的实现方式比较多样,其中最常见的有以下两种方式:

1. 链表式分配

链表式分配是malloc内存分配算法最常见的实现方式之一。在这种方式下,malloc会将内存块的信息存储在链表节点中,并根据内存使用情况,将内存块的节点按照大小进行排序。程序在分配内存时,malloc会从链表中寻找之一个大于等于所需内存的空闲内存块。当程序释放内存时,malloc会将该内存块的信息还原到链表节点中,并将其合并到先后相邻空闲内存块中。

链表式分配的优点在于其实现较为简单,但缺点在于内存块大小排序的代价比较高,其链表的遍历和合并操作也常常需要消耗较多时间,导致性能瓶颈。

2. 比特图式分配

比特图式分配是一种使用二进制位的技术,用于表示内存块的空闲状态。在该方式下,malloc会将内存池划分为固定大小的块,并使用0/1二进制位来表示该块内存是否闲置。程序在分配内存时,malloc会遍历比特图,寻找连续的空闲块,并将其标记为已使用。如果遍历完整个比特图都无法找到足够大的空闲块,则会将更多内存添加到内存池中。

比特图式分配的优点在于其查找空闲内存块的速度非常快,且其链表的遍历和合并过程不需要,因此可以提高malloc的性能。但缺点在于其实现较为复杂,需要消耗更多的内存空间存储比特图信息。

三、优化方案

针对malloc内存分配算法中存在的性能问题,还有很多优化方案可供选择。其中比较常见的几种优化方案如下:

1. 懒惰分配

懒惰分配是一种根据内存使用情况灵活地分配内存的方式。在该方式下,malloc不会像传统的内存池一样一次性完成所有内存的分配,而是在程序需要使用内存时,向操作系统分配相应内存。

2. NUMA节点分配

NUMA技术是现代服务器体系结构中的一项重要技术,它可以改善节点之间内存访问的性能。因此,在大型服务器中,可以采用NUMA节点分配的方式,将内存分配至各个节点,从而提高系统的性能。

3. 线程本地缓存POOL

线程本地缓存POOL是一种相对传统线程池的增强型设计,它能够在大量线程同时运行时,有效地避免线程池的竞争问题,并能够提高系统的性能。

综上所述,malloc内存分配算法是Linux操作系统内核动态内存管理中的重要部分,其实现方式多种多样。针对其存在的性能问题,可以通过多种优化方案进行改善,从而提高系统的性能和稳定性。

相关问题拓展阅读:

Linux进程内存如何管理?

Linux内存管理

摘要:本章首先以应用程序开发者的角度审视Linux的进程内存管理,在此基础上逐步深入到内核中讨论系统物理内存管理和内核内存的使用方法。力求从外到内、水到渠成地引导网友分析Linux的内存管理与使用。在本章最后,我们给出一个内存映射的实例,帮助网友们理解内核内存管理与用户内存管理之间的关系,希望大家最终能驾驭Linux内存管理。

前言

内存管理一向是所有操作系统书籍不惜笔墨重点讨论的内容,无论市面上或是网上都充斥着大量涉及内存管理的教材和资料。因此,我们这里所要写的Linux内存管理采取避重就轻的策略,从理论层面就不去班门弄斧,贻笑大方了。我们最想做的和可能做到的是从开发者的角度谈谈对内存管理的理解,最终目的是把我们在内核开发中使用内存的经验和对Linux内存管理的认识与大家共享。

当然,这其中我们也会涉及到一些诸如段页等内存管理的基本理论,但我们的目的不是为了强调理论,而是为了指导理解开发中的实践,所以仅仅点到为止,不做深究。

遵循“理论来源于实践”的“教条”,我们先不必一下子就钻入内核里去看系统内存到底是如何管理,那样往往会让你陷入似懂非懂的窘境(我当年就犯了这个错误!)。所以更好的方式是先从外部(用户编程范畴)来观察进程如何使用内存,等到大家对内存的使用有了较直观的认识后,再深入到内核中去学习内存如何被管理等理论知识。最后再通过一个实例编程将所讲内容融会贯通。

进程与内存

进程如何使用内存?

毫无疑问,所有进程(执行的程序)都必须占用一定数量的内存,它或是用来存放从磁盘载入的程序代码,或是存放取自用户输入的数据等等。不过进程对这些内存的管理方式因内存用途不一而不尽相同,有些内存是事先静态分配和统一回收的,而有些却是按需要动态分配和回收的。

对任何一个普通进程来讲,它都会涉及到5种不同的数据段。稍有编程知识的朋友都能想到这几个数据段中包含有“程序代码段”、“程序数据段”、“程序堆栈段”等。不错,这几种数据段都在其中,但除了以上几种数据段之外,进程还另外包含两种数据段。下面我们来简单归纳一下进程对应的内存空间中所包含的5种不同的数据区。

*代码段*:代码段是用来存放可执行文件的操作指令,也就是说是它是可执行程序在内存中的镜像。代码段需要防止在运行时被非法修改,所以只准许读取操作,而不允许写入(修改)操作——它是不可写的。

*数据段*:数据段用来存放可执行文件中已初始化全局变量,换句话说就是存放程序静态分配的变量和全局变量。

BSS*段***:BSS段包含了程序中未初始化的全局变量,在内存中 bss段全部置零。

堆(heap*)*:堆是用于存放进程运行中被动态分配的内存段,它的大小并不固定,可动态扩张或缩减。当进程调用malloc等函数分配内存时,新分配的内存就被动态添加到堆上(堆被扩张);当利用free等函数释放内存时,被释放的内存从堆中被剔除(堆被缩减)

*栈*:栈是用户存放程序临时创建的局部变量,也就是说我们函数括弧“{}”中定义的变量(但不包括static声明的变量,static意味着在数据段中存放变量)。除此以外,在函数被调用时,其参数也会被压入发起调用的进程栈中,并且待到调用结束后,函数的返回值也会被存放回栈中。由于栈的先进先出特点,所以栈特别方便用来保存/恢复调用现场。从这个意义上讲,我们可以把堆栈看成一个寄存、交换临时数据的内存区。

进程如何组织这些区域?

上述几种内存区域中数据段、BSS和堆通常是被连续存储的——内存位置上是连续的,而代码段和栈往往会被独立存放。有趣的是,堆和栈两个区域关系很“暧昧”,他们一个向下“长”(i386体系结构中栈向下、堆向上),一个向上“长”,相对而生。但你不必担心他们会碰头,因为他们之间间隔很大(到底大到多少,你可以从下面的例子程序计算一下),绝少有机会能碰到一起。

Linux系统提供了复杂的存储管理系统,使得进程所能访问的内存达到4GB。在Linux系统中,进程的4GB内存空间被分为两个部分——用户空间与内核空间。用户空间的地址一般分布为0~3GB(即PAGE_OFFSET,在Ox86中它等于OxC),这样,剩下的3~4GB为内核空间,用户进程通常只能访问用户空间的虚拟地址,不能访问内核空间的虚拟地址。用户进程只有通过系统调用(代表用户进程在内核态执行)等方式才可以访问到内核空间。每个进程的用户空间都是完全独立、互不相干的,用户进程各自有不同的页表。而内核空间是由内核负责映射,它并不会跟着进程改变,是固定的。内核空间的虚拟地址到物理地址映射是被所有进程共享的,内核的虚拟空间独立于其他程序。Linux中1GB的内核地址空间又被划分为物理内存映射区、虚拟内存分配区、高端页面映射区、专用页面映射区和系统保留映射区这几个区域。对于x86系统而言,一般情况下,物理内存映射区更大长度为896MB,系统的物理内存被顺序映射在内核空间的这个区域中。当系统物理内存大于896MB时,超过物理内存映射区的那部分内存称为高端内存(而未超过物理内存映射区的内存通常被称为常规内存),内核在存取高端内存时必须将它们映射到高端页面映射区。Linux保留内核空间最顶部FIXADDR_TOP~4GB的区域作为保留区。当系统物理内存超过4GB时,必须使用CPU的扩展分页(PAE)模式所提供的64位页目录项才能存取到4GB以上的物理内存,这需要CPU的支持。加入了PAE功能的Intel Pentium Pro及以后的CPU允许内存更大可配置到64GB,它们具备36位物理地址空间寻址能力。由此可见,对于32位的x86而言,在3~4GB之间的内核空间中,从低地址到高地址依次为:物理内存映射区隔离带vmalloc虚拟内存分配器区隔离带高端内存映射区专用页面映射区保留区。

这个不是1-2句话就表达明白的。可以看下我写的相关书籍。

第9章 Linux进程管理命令 / 298

9.1ps:查看进程 / 298

9.2pstree:显示进程状态树 / 305

9.3pgrep:查找匹配条件的进程 / 306

9.4kill:终止进程 / 307

9.5killall:通过进程名终止进程 / 310

9.6pkill:通过进程名终止进程 / 311

9.7top:实时显示系统中各个进程的资源占用状况 / 313

9.8nice:调整程序运行时的优先级 / 320

9.9renice:调整运行中的进程的优先级 / 323

9.10nohup:用户退出系统进程继续工作 / 324

9.11strace:跟踪进程的系统调用 / 325

9.12ltrace:跟踪进程调用库函数 / 332

9.13runlevel:输出当前运行级别 / 334

9.14init:初始化Linux进程 / 335

linux内核调用哪些接口分配内核地址空间的内存

kmalloc/kfree

类似于标准C中的malloc/free,kmalloc/kfree是内核中的用于常规内存分配的接口。

例如,申请1024字节的内核地址空间:

char *buff;

buff = kmalloc(1024, GFP_KERNEL);

if (!buff)

return -ENOMEM;

还有什么问题的话,可以私信我哦

一般使用   kmalloc。 例如:

c_param1 = kmalloc(sizeof(void *), GFP_KERNEL);

linux kernel malloc的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于linux kernel malloc,深入解析Linux内核中的malloc内存分配算法,Linux进程内存如何管理?,linux内核调用哪些接口分配内核地址空间的内存的信息别忘了在本站进行查找喔。


数据运维技术 » 深入解析Linux内核中的malloc内存分配算法 (linux kernel malloc)