系统映射和内核文件:解释Linux系统中的重要文件 (system.map vmlinux)

对于Linux系统管理员和开发人员而言,了解系统映射和内核文件的基础知识是很重要的。在这篇文章中,我们将解释这两个概念以及在Linux操作系统中的重要性。

系统映射和内核文件的基础知识

了解系统映射是什么是很重要的。系统映射是指在Linux系统中,一些关键性质的映射,这些映射保存在内存中,对于操作系统的执行是非常关键的。系统映射包括以下内容:

– 进程映射:每个进程都拥有自己的地址空间,这使得操作系统可以同时运行多个进程。

– 磁盘映射:Linux系统将磁盘文件映射到内存中,该文件可以快速访问和编辑。

– 设备映射:Linux操作系统将硬件设备(如键盘,鼠标和打印机)映射到内存中,以便操作系统可以管理它们。

– 内核内存映射:内核将一些重要的内存映射到每个进程的地址空间中,以方便进程访问。

而内核文件则是指存储Linux内核及其组件的文件。它包括以下内容:

– 内核:Linux内核是操作系统的核心,在启动时,所有进程都运行在内核模式下。

– 驱动程序:这些程序负责与设备通信,使系统硬件得到正确配置和使用。

– 系统调用:系统调用是应用程序和操作系统之间交互的接口,它允许应用程序访问操作系统的资源和服务。

– 初始化文件:这些文件用于启动Linux系统,并设置系统配置和环境。

重要的系统映射和内核文件

有一些特定的系统映射和内核文件对于Linux系统的正确运行来说是至关重要的。以下是其中几个:

/etc/fstab:这是Linux系统的文件系统表,它告诉操作系统挂载哪些存储设备和文件系统,并指定文件系统的属性和选项。

/etc/passwd:这个文件存储Linux系统中所有用户的信息,包括用户名,用户ID,用户组ID以及用户的家目录和默认shell。

/etc/shadow:在Linux系统中,密码是存储在此文件中的加密格式,它可以保护用户的账户不被未授权的访问。

/boot:该目录包含启动Linux系统的所有必需文件,包括内核和引导加载程序。

/dev:这个目录有如设备节点,这些节点代表着Linux系统的硬件设备或驱动程序。

/proc:在Linux操作系统中,文件系统是虚拟的,proc是一个特殊的文件系统,它可用于获取进程和内核信息。

/sys:这个目录是用来存储内核设备和状态信息的,可以进一步帮助管理硬件和系统设置的信息。

至此,我们已经了解了系统映射和内核文件的基础知识并掌握了一些在Linux系统中备受关注的重要系统映射和内核文件。 Linux操作系统的成功运行需要更深层次的理解,这篇文章将是初级Linux管理员和程序员研究该操作系统的理想起点。

相关问题拓展阅读:

如何使用oprofile对软件做profiling

关于Xilinx Zynq-7000带来的新的系统设计思路,以及Profiling的对象libjpeg,前文已经描述过了,再此不再赘述。

  一. Oprofile简介

  Profiling是对不同性能特征的数据的形式化总结或分析,它通常以图形和表的形式出现。它提供为特定胡孝的处理器事件收集的采样百分数或数 量,比如cache miss rate、TLB miss rate等等。一般来说,主要目的是为了找出软件中的性能瓶颈,然后有针对性的优化以提升软件的整体性能。

  Oprofile 是用于 Linux 的若干种评测和性能监控工具中的一种。它可以工作在不同的体系结构上,包括ARM, PowerPC, MIPS, IA32, IA64 和 AMD Athlon等等。它的开销很小,从Linux 2.6 版起,它被包含进了Linux内核中。

  Oprofile可以收集有关处理器事件的信息,帮助用户识别诸如循环的展开、cache的使用率低、低效的类型转换和冗余操作、错误预测转移 等问题。Oprofile是一种细粒度的工具,可以为指令集或者为函数、系统调用或中断处理例程收集采样。Oprofile 通过取样来工作。使用收集到的评测数据,用户可以很容敬源易地找出性能问题。

  通过监察CPU的hardware events,oprofile可以在运行状态下对整个Linux系统进行profiling。Profiling的对象可以是Linux kernel (包括modules和interrupt handlers), shared libraries或者应用程序。

  从0.9.8版本开始,oprofile支持Perf_events profiling mode模式。应用程序operf被用来控制profiling过程;而在legacy mode下,是通过opcontrol脚本和oprofiled daemon来完成的。Operf不再象legacy mode那样需要OProfile kernel driver,它直接和Linux Kernel Performance Events Subsystem打交道。使用operf,就可以用普通用户的身份来profiling用户的应用程序了,当然如果需要对整个系统来profiling 的时候还是需要root权限的。

  如果硬件不支持OProfile使用performance counters,OProfile就只能工作在Timer Mode下了。Timer Mode只能在legacy profiling mode下使用,即只能通过opcontrol脚本来控制。

  Oprofile的website为:

  可以支持的处理器的hardware event类型:

docs/

  对于Zynq-7000来说,

docs/armv7-ca9- events.php 列出了ARM Cortex-A9内核PMU(Performance Monitor Unit)所支持的所有hardware event种类,可以看出oprofile可以支持很多深入处理器内部的分析。

  

examples/ 提供了一些oprofile生成的结果,可以方便开发者在开始使用之前了解oprofile能够做到哪些事情。

  Oprofile的详细使用文档:

doc/index.html

  Oprofile的优势:

  ? 比较低的运行开销

  ? 对被profiling的对象影响很小

 裤稿稿 ? 可以profiling中断服务程序(interrupt handlers)

  ? 可以profiling应用程序和shared libraries

  ? 可以profiling dynamically compiled (JIT) code

  ? 可以对整个系统做profiling

  ? 可以观察CPU内部的细节,例如cache miss rate

  ? 可以多源代码做annotation

  ? 可以支持instruction-level的profiling

  ? 可以生成call-graph profiles

  不过OProfile也不是万能的,它也有自己的局限性:

  ? 只能在x86, ARM, 和PowerPC架构上生成call graph profiles

  ? 不支持100%精确的instruction-level profiling

  ? 对dynamically compiled (JIT) code profiling的支持还不完善。

  无论如何,Oprofile的功能都比gprof要强很多,代价是配置起来会比较麻烦。

  二. 编译Oprofile

  首先更好在Linux kernel里面选中Oprofile driver,以获得全面的支持。

  下载Linux kernel Source:从

可以下载到Xilinx提供的验证好的内核。如果不方便使用Linux下的git工具,可以单击页面上的releases找到相应的版本下载tar ball。下载的时候更好选tar.gz格式的,而不是zip格式的,因为后者在处理symbol link的时候有可能会出问题。

  因为笔者使用的是Xilinx Linux pre-built 14.7,所以这里下载的是linux-xlnx-xilinx-v14.7.tar.gz

  解压缩后,用以下命令调出Linux kernel的配置界面:

  export ARCH=arm

  export CROSS_COMPILE=arm-xilinx-linux-gnueabi-

  make xilinx_zynq_defconfig

  make xconfig 或者make menuconfig

  在配置界面上将以下两项勾上:

  General setup —>

   Profiling support

   OProfile system profiling

  然后make uImage即可生成新的uImage,用来替换Xilinx Linux pre-built 14.7中的Linux kernel image。同时我们也需要vmlinux来检查profiling的结果。

  Oprofile需要popt, bfd, liberty库,要在嵌入式单板上使用这些库,需要手工完成交叉编译。

  针对popt 1.7,用以下命令完成编译:

  ./configure –prefix=/home/wave/xilinx/oprofileprj/rootfs –host=arm-xilinx-linux-gnueabi –with-kernel-support –disable-nls && make && make install

  针对binutils 2.24,用以下命令完成编译:

  ./configure –host=arm-xilinx-linux-gnueabi –prefix=/home/wave/xilinx/oprofileprj/rootfs –enable-install-libbfd –enable-install-libiberty –enable-shared && make && make install

  不过–enable-install-libiberty没有效果,所以需要手工把libiberty.a和libiberty.h拷贝到相应的位置。

  针对oprofile 0.9.9,用以下命令完成编译:

  ./configure –host=arm-xilinx-linux-gnueabi –prefix=/home/wave/xilinx/oprofileprj/rootfs –with-kernel-support –with-binutils=/home/wave/xilinx/oprofileprj/rootfs && make && make install

  配置过程结束后可能会有以下提示,因为没有打算用GUI和profile JITed code,所以直接忽视之。

  config.status: executing libtool commands

  Warning: QT version 3 was requested but not found. No GUI will be built.

  Warning: The user account ‘oprofile:oprofile’ does not exist on the system.

  To profile JITed code, this special user account must exist.

  Please ask your system administrator to add the following user and group:

  user name : ‘oprofile’

  group name: ‘oprofile’

  The ‘oprofile’ group must be the default group for the ‘oprofile’ user.

  将编译完成的uImage,vmlinux,oprofile binary,重新编译的没有-pg的libjpeg binary以及tool chain的libc打包放到SD卡中,准备在ZC706开发板上尝试profile djpeg。

  三. 运行Oprofile

  正常启动嵌入式Linux后,在开发板的console上一次输入以下命令:

  mount /dev/mmcblk0p1 /mnt

  mkdir -p /home/root/work

  cd /home/root/work

  tar zxvf /mnt/jpeg-bin-nopg.tar.gz

  cd jpeg-bin/bin

  cp /mnt/park-2880×1800.jpg .

  export LD_LIBRARY_PATH=/home/root/work/jpeg-bin/lib

  cd /home/root/work

  tar zxvf /mnt/rootfs.tar.gz

  cd rootfs

  chown root:root -R *

  cp -R bin/* /usr/bin

  cp -R lib/* /lib

  cp /bin/which /usr/bin

  cp /bin/dirname /usr/bin

  mkdir -p /home/wave/xilinx/oprofileprj/rootfs/share

  cp -R ./rootfs/* /home/wave/xilinx/oprofileprj/rootfs

  cd /home/root/work

  tar zxvf /mnt/libc.tar.gz

  cp ./lib/libstdc*.* /lib

  mkdir -p /home/wave/xilinx/libjpeg

  cd /home/wave/xilinx/libjpeg

  tar zxvf /mnt/jpeg-9.tar.gz

  cp /mnt/vmlinux /home/root/work

  cd /home/root/work/jpeg-bin/bin

  opcontrol –init

  opcontrol –vmlinux=/home/root/work/vmlinux

  opcontrol –setup –event=CPU_CYCLES:100000::0:1 –session-dir=/home/root/

  operf –vmlinux /home/root/work/vmlinux ./djpeg -bmp park-2880×1800.jpg > result.bmp

  opreport -l ./djpeg

  完成这一步后,我们就可以看到profiling的结果了,在笔者的平台上看到的内容的主要部分如下:

  root@zynq:~/work/jpeg-bin/bin# opreport -l ./djpeg

  Using /home/root/work/jpeg-bin/bin/oprofile_data/samples/ for samples directory.

  CPU: ARM Cortex-A9, speedMHz (estimated)

  Counted CPU_CYCLES events (CPU cycle) with a unit mask of 0x00 (No unit mask) count

  samples % image name symbol name

.6253 libc-2.17.so /lib/libc-2.17.so

.8356 libjpeg.so.9.0.0 ycc_rgb_convert

.5289 libjpeg.so.9.0.0 jpeg_idct_16x16

.3526 libjpeg.so.9.0.0 decode_mcu

.0186 libjpeg.so.9.0.0 jpeg_idct_islow

.0071 djpeg finish_output_bmp

.0241 libjpeg.so.9.0.0 jpeg_fill_bit_buffer

.5219 djpeg put_pixel_rows

  73 0.2798 vmlinux __copy_from_user

  70 0.2683 libjpeg.so.9.0.0 decompress_onepass

  65 0.2492 libjpeg.so.9.0.0 jpeg_huff_decode

  56 0.2147 vmlinux get_page_from_freelist

  50 0.1917 vmlinux __memzero

  45 0.1725 vmlinux __copy_to_user_std

  41 0.1572 vmlinux _raw_spin_unlock_irqrestore

  15 0.0575 vmlinux do_page_fault

  14 0.0537 vmlinux __generic_file_aio_write

  13 0.0498 vmlinux _raw_spin_unlock_irq

  11 0.0422 vmlinux free_hot_cold_page

  11 0.0422 vmlinux vector_swi

  10 0.0383 vmlinux handle_pte_fault

  从结果中我们可以看到libjpeg.so.9.0.0, djpeg和vmlinux中的symbol name已经可以被正确的解析出来了,和gprof的结果基本一致。相比gprof,oprofile可以在更大的范围内完成profiling。

  我们还可以用以下命令观察源代码中特定行的执行时间,进一步缩小优化的范围,达到事半功倍的效果。

  opannotate –source ./djpeg > opannotate.txt

  四. 小结

linux 操作系统/boot目录下面都是什么文件?

/boot:启动Linux的核心文件。

以下是其他常用的linux操作系统目录:

/bin:存放最常用命令;

/dev:设备文件;

/etc:存放各种

配置文件

/home:用户主目录;唯扒

/lib:系统最基本的动态链接共享库;

/mnt:一般是空的,用来临时挂载别的

文件系统

/proc:虚拟目录,是内存的映射;

/in:系统管理员命令存放目录;

/usr:更大的目仔枣录,存许

应用程序

和文件;

/usr/X11R6:X-Window目念山拆录;

/usr/src:Linux

源代码

/usr/include:系统

头文件

/usr/lib:存放常用动态链接共享库、静态档案库;

/usr/bin、/usr/in:这是对/bin、/in的一个补充。

BOOT目录下的文件,

其中几个核心的如下:

System.map、vmlinuz、initrd-2.4.7-10.img

这几个文件是怎么产生的?又有什么作用呢?本文对此做些介绍。

一、vmlinuz

vmlinuz是可引导的、压缩的内核。“vm”代表“Virtual Memory”。Linux 支持虚拟内存,不像老的操作系统比如DOS有640KB内存的限制。Linux能够使用硬盘空间作为虚拟内存,因此得名“vm”。vmlinuz是可执行的Linux内核,它位于/boot/vmlinuz,它一般是一个软链接,比如图中是vmlinuz-2.4.7-10的软链接。

vmlinuz的建立有两种方式。一是编译内核时通过“make zImage”创建,然后通过:“cp /usr/src/linux-2.4/arch/i386/linux/boot/zImage/boot/vmlinuz”产生。zImage适用于小内核的情况,它的存在是为了向后的兼容性。

二是内核编译时通过命令make bzImage创建,然后通过:“cp/usr/src/linux-2.4/arch/i386/linux/boot/bzImage /boot/vmlinuz”产生。bzImage是压缩的内核映像,需要注意,bzImage不是用bzip2压缩的,bzImage中的bz容易引起误解,bz表示“big zImage”。 bzImage中的b是“big”意思。 zImage(vmlinuz)和bzImage(vmlinuz)都是用gzip压缩的。它们不仅是一个压缩文件,而且在这两个文件的开头部分内嵌有gzip解压缩代码。所仔败枣以你不能用gunzip 或 gzip –dc解包vmlinuz。

内核文件中包含一个微型的gzip用于解压缩内核并引导它。两者的不同之处在于,老的zImage解压缩内核到低端内存(之一个640K),bzImage解压缩内核到高端内存(1M以上)。如果内核比较小,那么可以采用zImage或bzImage之一,两种方式引导的系统运行时是相同的。大的内核采用bzImage,不念拆能采用zImage。vmlinux是未压缩的内核,vmlinuz是vmlinux的压缩文件。

二、initrd-x.x.x.img

initrd是“initial ramdisk”的简写。initrd一般被用来临时的引导硬件到实际内核vmlinuz能够接管并继续引导的状态。图中的initrd-2.4.7-10.img主要是用于加载ext3等文件系统及scsi设备的驱动。

比如,使用的是scsi硬盘,而内核vmlinuz中并没有这个scsi硬件的驱动,那么在装入scsi模块之前,内核不能加载根文件系统,但scsi模块存储在根文件系统的/lib/modules下。为了解决这个问题,可以引导一个能够读实际内核的initrd内核并用initrd修正scsi引导问题。initrd-2.4.7-10.img是用gzip压缩的文件,initrd实现加载一些模块和安装文件系统等功能。

initrd映象文件是使用mkinitrd创建的。mkinitrd实用程序能够创建initrd映象文件。这个命令是RedHat专有的。其它Linux发行版或许有相应的命令。这是个很方便的实用程序。具体情况请看帮助:man mkinitrd下面的命令创建initrd映象文件。

三、System.map

System.map是一个特定内核的内核符号表。它是你当前运行的内核的System.map的链接。

内核符号表是怎么创建的呢? System.map是由“nm vmlinux”产生并且不相关的符号被滤出。

对于本文中的例子,编译内核时,System.map创建在/usr/src/linux-2.4/System.map。像下面这样:

nm /boot/vmlinux-2.4.7-10 > System.map

下面几行来自/usr/src/linux-2.4/Makefile:

nm vmlinux | grep -v ‘\(compiled\)\|\(\.o$$\)\|\( \)\|\(\.\.ng$$\)\|\(LASHDI\)’ | sort > System.map

然后复制到/boot:

cp /usr/src/linux/枯耐System.map /boot/System.map-2.4.7-10

下图是System.map文件的一部分:

在进行程序设计时,会命名一些变量名或函数名之类的符号。Linux内核是一个很复杂的代码块,有许许多多的全局符号。

Linux内核不使用符号名,而是通过变量或函数的地址来识别变量或函数名。比如不是使用size_t BytesRead这样的符号,而是像c0343f20这样引用这个变量。

对于使用计算机的人来说,更喜欢使用那些像size_t BytesRead这样的名字,而不喜欢像c0343f20这样的名字。内核主要是用c写的,所以编译器/连接器允许我们编码时使用符号名,当内核运行时使用地址。

然而,在有的情况下,我们需要知道符号的地址,或者需要知道地址对应的符号。这由符号表来完成,符号表是所有符号连同它们的地址的列表。上图就是一个内核符号表,由上图可知变量名checkCPUtype在内核地址c01000a5。

Linux 符号表使用到2个文件:

/proc/ksyms

System.map

/proc/ksyms是一个“proc file”,在内核引导时创建。实际上,它并不真正的是一个文件,它只不过是内核数据的表示,却给人们是一个磁盘文件的假象,这从它的文件大小是0可以看出来。然而,System.map是存在于你的文件系统上的实际文件。

当你编译一个新内核时,各个符号名的地址要发生变化,你的老的System.map具有的是错误的符号信息。每次内核编译时产生一个新的System.map,你应当用新的System.map来取代老的System.map。

虽然内核本身并不真正使用System.map,但其它程序比如klogd,lsof和ps等软件需要一个正确的System.map。如果你使用错误的或没有System.map,klogd的输出将是不可靠的,这对于排除程序故障会带来困难。没有System.map,你可能会面临一些令人烦恼的提示信息。

另外少数驱动需要System.map来解析符号,没有为你当前运行的特定内核创建的System.map它们就不能正常工作。

Linux的内核日志守护进程klogd为了执行名称-地址解析,klogd需要使用System.map。System.map应当放在使用它的软件能够找到它的地方。执行:man klogd可知,如果没有将System.map作为一个变量的位置给klogd,那么它将按照下面的顺序,在三个地方查找System.map:

/boot/System.map

/System.map

/usr/src/linux/System.map

System.map也有版本信息,klogd能够智能地查找正确的映象(map)文件。

是引导系统用到的文件,包括内核,GRUB文件,引导配置文件等等

/boot:启动Linux的核心文件;

以下是其他常用的linux操作系统目录:

/bin:存放最常用命令;

  /dev:设备文件;

  /etc:存放各种配置文件;

  /home:用户主目录;

  /lib:系统最基本的动态链接共享库;

  /mnt:一般是空的,用来临时挂载别的文件系统;

  /proc:虚拟目录,是内存的映射唯笑;

  /in:系慧山档统管理员命令存放目录;

  /usr:更大的目录,存许应用程序和文件;

  /usr/X11R6:X-Window目录;

  /usr/src:Linux源代码;前乱

  /usr/include:系统头文件;

  /usr/lib:存放常用动态链接共享库、静态档案库;

  /usr/bin、/usr/in:这是对/bin、/in的一个补充;

system.map vmlinux的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于system.map vmlinux,系统映射和内核文件:解释Linux系统中的重要文件,如何使用oprofile对软件做profiling,linux 操作系统/boot目录下面都是什么文件?的信息别忘了在本站进行查找喔。


数据运维技术 » 系统映射和内核文件:解释Linux系统中的重要文件 (system.map vmlinux)