Linux下如何让多CPU同时执行命令 (linux 多cpu执行命令)

在一些需要计算资源较高的场景下,如科学计算、机器学习等,单CPU的计算速度已经远远不能满足需求。此时,多CPU并行处理能够提高计算效率,缩短计算时间,加快实验进度。本文将介绍在Linux环境下,如何让多CPU同时执行命令,以期能够在实验和计算任务中发挥更大的效能。

1. 确认CPU数量

在Linux下,可以使用命令`lscpu`来查看计算机的CPU信息。具体命令如下:

“`

$ lscpu

“`

该命令输出的内容较多,其中可以注意到一行与CPU数量相关的信息,如下所示:

“`

CPU(s): 4

“`

这个例子表示计算机有4个CPU,即可以对多个命令进行并行处理。如果计算机有多个节点,每个节点也可以利用多CPU并行处理。

2. 使用parallel命令

对于一些命令行工具,如果在输入中指定CPU数量,即可让该工具利用多CPU并行处理。但也有很多命令行工具无法做到这一点,这时可以使用`parallel`命令来实现多CPU并行处理。

`parallel`命令可以在多个CPU上实现并行执行给定的命令,从而加快任务的执行速度。该命令的基本语法为:

“`

$ parallel [OPTIONS] command [command args …]

“`

其中,`command`指定要执行的命令,`list_of_arguments`指定要传递给命令的参数列表。例如,下面的例子将会让`grep`在4个CPU上并行搜索`example.txt`文件中的关键词`keyword`:

“`

$ parallel -j4 grep keyword example.txt

“`

其中,`-j4`指定使用4个CPU进行并行处理。如果`-j`选项没有指定,则默认使用所有可用CPU(上文中的`-j4`并不代表只能用4个CPU,可以同时使用4个及以上的CPU)。

除了搜索文本,`parallel`也可以用于执行其他任何命令。不过需要注意的是,必须在命令中正确地使用占位符`{}`和`{1}`等,否则无法正确传递参数。

3. 使用xargs命令

另一种实现多CPU并行处理的方法是使用`xargs`命令。它可以将来自输入的参数传递给指定的命令,并在多个CPU上并行执行。

`xargs`有两种常见的用法:一种是通过管道输入参数,将参数作为命令的输入;另一种是通过读取文件,将文件中的参数作为命令的输入。以下是两种使用方法:

通过管道输入参数:

“`

$ cat file.txt | xargs -P4 -I{} command {}

“`

其中,`-P4`表示使用4个CPU执行,`-I{}`指定了占位符,将参数传递给`command`命令。

通过读取文件输入参数:

“`

$ xargs -P4 -a file.txt -I{} command {}

“`

该命令从`file.txt`中读取参数,并用保留的`{}`占位符替换掉`command`命令中的参数。

多CPU并行处理可以提高计算效率,缩短计算时间。Linux环境下多CPU并行处理非常容易,有多种方法可以实现。本文介绍了使用`parallel`和`xargs`命令来实现多CPU并行处理的方法,但也有其他更深入的方法,如使用MPI(Message Passing Interface)等。不同的任务和环境需要针对性地选择更优的方法,以达到更佳的计算效率。

相关问题拓展阅读:

怎么使用Linux命令查看CPU使用率

top命令是Linux下常用的性能分析工具,能够实时显示系统中各个进程的资源占用状况,类似于Windows的任务管理器

  可以直接使用top命令后,查看%MEM的内容。可以选择按进程查看或者按用户查看,如想查看oracle用户的进程内存使用情况的话可以使用如下的命令:

  $ top -u oracle

2. 释义:

PID:进程的ID

  USER:进程所有者

  PR:进程的优先级别,越小越优先被执行

  NInice:值

  VIRT:进程占用的虚拟内存

  RES:进程占用的物理内存

  SHR:进程使用的共享内存

  S:进程的状态。S表示休眠,R表示正在运行,Z表示僵死状态,N表示该进程优先值为负数

  %CPU:进程占用CPU的使用率

  %MEM:进程使用的物理内存和总内存的百分比

  TIME+:该进程启动后占用的总的CPU时间,即占用CPU使用时间的累加值。

  COMMAND:进程启动命令名称

3.操作实例:

  在命令行中输入 “top”

  即可启动 top

  top 的全屏对话模式可分为3部分:系统信息栏、命令输入栏、进程列表栏。

  之一部分 — 最上部的 系统信息栏 :

  之一行(top):

    “00:11:04”为系统当前时刻;

    “3:35”为系统启动后到现在的运作时间;

    “2 users”为当前登录到系统的用户,更确切的说是登录到用户的终端数 — 同一个用户同一时间对系统多个终端的连接将被视为多个用户连接到系统,这里的用户数也将表现为终端的数目;

    “物橘乱load average”为当前系统负载的平均值,后面的三个值分别为1分钟前、5分钟前、15分钟前进程的平均数,一般的可以认为这个数值超过 CPU 数目时,CPU 将比较吃力的负载当前系统所包含的进程;

  第二行(Tasks):

    “59 total”为当前系统进程总数;

    “1 running”为当前运行中的进程数;

    “58 sleeping”为罩档当前处于等待状态中的进程数;

    “0 stoped”为被停止的系统进程数;

    “0 zombie”为被复原的进程数;

  第三行(Cpus):

    分别表示了 CPU 当前的使用率;

  第四行(Mem):

    分别表示了内存总量、当前使用量、空闲内存量、以及缓冲使用中的内存量;

  第五行(Swap):

    表示类别同第四行(Mem),但此处反映着交换分区(Swap)的使用情况。通常,交换分区(Swap)被频繁使用的情况,将被视作物理内存不足而造成的。

  第二部分 — 中间部分的内部命令提示栏:

  top 运行中可以通过 top 的内部命令对进程的显示方式进行控制。内部命令如下表:

  s

  - 改变画面更新频率

  l – 关闭或开启之一部分之一行 top 信息的表示

  t – 关闭或开启之一部分第二行 Tasks 和第三行 Cpus 信息的表示

  伍巧m – 关闭或开启之一部分第四行 Mem 和 第五行 Swap 信息的表示

  N – 以 PID 的大小的顺序排列表示进程列表(第三部分后述)

  P – 以 CPU 占用率大小的顺序排列进程列表 (第三部分后述)

  M – 以内存占用率大小的顺序排列进程列表 (第三部分后述)

  h – 显示帮助

  n – 设置在进程列表所显示进程的数量

  q – 退出 top

  s –

  改变画面更新周期

  第三部分 — 最下部分的进程列表栏:

  以 PID 区分的进程列表将根据所设定的画面更新时间定期的更新。通过 top 内部命令可以控制此处的显示方式

pmap

可以根据进程查看进程相关信息占用的内存情况,(进程号可以通过ps查看)如下所示:

  $ pmap -d 5647

ps

  如下例所示:

  $ ps -e -o ‘pid,comm,args,pcpu,rsz,vsz,stime,user,uid’ 其中rsz是是实际内存

  $ ps -e -o ‘pid,comm,args,pcpu,rsz,vsz,stime,user,uid’ | grep oracle | sort -nrk

  其中rsz为实际内存,上例实现按内存排序,由大到小

在Linux下查看内存我们一般用free命令:

# free

totalusedfree shared buffers cached

Mem:

-/+ buffers/cache:

Swap:

下面是对这些数值的解释:

total:总计物理内存的大小。

used:已使用多大。

free:可用有多少。

Shared:多个进程共享的内存总额。

Buffers/cached:磁盘缓存的大小。

第三行(-/+ buffers/cached):

used:已使用多大。

free:可用有多少。

第四行就不多解释了。

区别:第二行(mem)的used/free与第三行(-/+ buffers/cache) used/free的区别。 这两个的区别在于使用的角度来看,之一行是从OS的角度来看,因为对于OS,buffers/cached 都是属于被使用,所以他的可用内存是16176KB,已用内存是KB,其中包括,内核(OS)使用+Application(X, oracle,etc)使用的+buffers+cached.

第三行所指的是从应用程序角度来看,对于应用程序来说,buffers/cached 是等于可用的,因为buffer/cached是为了提高文件读取的性能,当应用程序需在用到内存的时候,buffer/cached会很快地被回收。

所以从应用程序的角度来说,可用内存=系统free memory+buffers+cached。

如上例:

=16176+110652+

接下来解释什么时候内存会被交换,以及按什么方交换。 当可用内存少于额定值的时候,就会开会进行交换。

如何看额定值:

cat /proc/meminfo

# cat /proc/meminfo

MemTotal:kB

MemFree: kB

Buffers: kB

Cached:4 kB

SwapCached:kB

Active:6 kB

Inactive:kB

HighTotal:kB

HighFree:kB

LowTotal:kB

LowFree: kB

SwapTotal:kB

SwapFree:kB

Dirty: 8 kB

Writeback:kB

Mapped:0 kB

Slab:344 kB

Committed_AS:kB

PageTables:kB

VmallocTotal:kB

VmallocUsed:kB

VmallocChunk:kB

HugePages_Total: 0

HugePages_Free:

Hugepagesize:kB

用free -m查看的结果:

# free -m

totalusedfree shared buffers cached

Mem:

-/+ buffers/cache:

Swap:

查看/proc/kcore文件的大小(内存镜像):

# ll -h /proc/kcore

-rroot root 4.1G Jun 12 12:04 /proc/kcore

备注:

占用内存的测量

测量一个进程占用了多少内存,linux为我们提供了一个很方便的方法,/proc目录为我们提供了所有的信息,实际上top等工具也通过这里来获取相应的信息。

/proc/meminfo 机器的内存使用信息

/proc/pid/maps pid为进程号,显示当前进程所占用的虚拟地址。

/proc/pid/statm 进程所占用的内存

# cat /proc/self/statm

334 0

输出解释

CPU 以及CPU0。。。的每行的每个参数意思(以之一行为例)为:

参数 解释 /proc//status

Size (pages) 任务虚拟地址空间的大小 VmSize/4

Resident(pages) 应用程序正在使用的物理内存的大小 VmRSS/4

Shared(pages) 共享页数 0

Trs(pages) 程序所拥有的可执行虚拟内存的大小 VmExe/4

Lrs(pages) 被映像到任务的虚拟内存空间的库的大小 VmLib/4

Drs(pages) 程序数据段和用户态的栈的大小 (VmData+ VmStk )4

dt(pages) 04

查看机器可用内存

/proc/28248/>free

total used free shared buffers cached

Mem:

-/+ buffers/cache:

Swap:

我们通过free命令查看机器空闲内存时,会发现free的值很小。这主要是因为,在linux中有这么一种思想,内存不用白不用,因此它尽可能的cache和buffer一些数据,以方便下次使用。但实际上这些内存也是可以立刻拿来使用的。

所以 空闲内存=free+buffers+cached=total-used

top命令 是Linux下常用的性能 分析工具 ,能够实时显示系统 中各个进程的资源占用状况,类似于Windows的任务管理 器。下面详细介绍它的使用方法。

top – 02:53:32 up 16 days, 6:34, 17 users, load average: 0.24, 0.21, 0.24

Tasks: 481 total, 3 running, 474 sleeping, 0 stopped, 4 zombie

Cpu(s): 10.3%us, 1.8%sy, 0.0%ni, 86.6%id, 0.5%wa, 0.2%hi, 0.6%si, 0.0%st

Mem:k total,k used,k free,k buffers

Swap:k total,k used,k free,k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND

32497 jacky69m 222m 31m R.:27.62 firefox

4788 yiuwingm 18m 13m S.:42.44 konsole

5657 Liuxiaofm 159m 30m S.:25.06 firefox

4455 xiefc542m 124m 30m R.:23.03 firefox

6188 Liuxiaofm 17m 13m S.:01.16 konsole

统计信息区前五行是系统整体的统计信息。之一行是任务队列信息,同 uptime 命令的执行结果。其内容如下:

01:06:48 当前时间

up 1:22 系统运行 时间,格式为时:分

1 user 当前登录用户 数

load average: 0.06, 0.60, 0.48 系统负载 ,即任务队列的平均长度。

三个数值分别为 1分钟、5分钟、15分钟前到现在的平均值。

第二、三行为进程和CPU的信息。当有多个CPU时,这些内容可能会超过两行。内容如下:

Tasks: 29 total 进程总数

1 running 正在运行的进程数

28 sleeping 睡眠的进程数

0 stopped 停止的进程数

0 zombie 僵尸进程数

Cpu(s): 0.3% us 用户空间占用CPU百分比

1.0% sy 内核 空间占用CPU百分比

0.0% ni 用户进程空间内改变过优先级的进程占用CPU百分比

98.7% id 空闲CPU百分比

0.0% wa 等待输入输出的CPU时间百分比

0.0% hi

0.0% si

最后两行为内存 信息。内容如下:

Mem:k total 物理内存总量

173656k used 使用的物理内存总量

17616k free 空闲内存总量

22023k buffers 用作内核缓存 的内存量

Swap:k total 交换区总量

0k used 使用的交换区总量

192772k free 空闲交换区总量

123988k cached 缓冲的交换区总量。

内存中的内容被换出到交换区,而后又被换入到内存,但使用过的交换区尚未被覆盖,

该数值即为这些内容已存在于内存中 的交换区的大小。

相应的内存再次被换出时可不必再对交换区写入。

进程信息区统计信息区域的下方显示了各个进程的详细信息。首先来认识一下各列的含义。

序号 列名 含义

a PID 进程id

b PPID 父进程id

c RUSER Real user name

d UID 进程所有者的用户id

e USER 进程所有者的用户名

f GROUP 进程所有者的组名

g TTY 启动进程的终端名。不是从终端启动的进程则显示为 ?

h PR 优先级

i NI nice值。负值表示高优先级,正值表示低优先级

j P 最后使用的CPU,仅在多CPU环境 下有意义

k %CPU 上次更新到现在的CPU时间占用百分比

l TIME 进程使用的CPU时间总计,单位秒

m TIME+ 进程使用的CPU时间总计,单位1/100秒

n %MEM 进程使用的物理内存 百分比

o VIRT 进程使用的虚拟内存总量,单位kb。VIRT=SWAP+RES

p SWAP 进程使用的虚拟内存中,被换出的大小,单位kb。

q RES 进程使用的、未被换出的物理内存大小,单位kb。RES=CODE+DATA

r CODE 可执行代码占用的物理 内存大小,单位kb

s DATA 可执行代码以外的部分(数据 段+栈)占用的物理 内存大小,单位kb

t SHR 共享内存大小,单位kb

u nFLT 页面错误次数

v nDRT 最后一次写入到现在,被修改过的页面数。

w S 进程状态。

D =不可中断的睡眠状态

R =运行

S =睡眠

T =跟踪/停止

Z =僵尸进程

x COMMAND 命令名/命令行

y WCHAN 若该进程在睡眠,则显示睡眠中的系统函数名

z Flags 任务标志,参考 sched.h

默认情况下仅显示比较重要的 PID、USER、PR、NI、VIRT、RES、SHR、S、%CPU、%MEM、TIME+、COMMAND 列。可以通过下面的快捷键来更改显示内容。

更改显示内容通过 f 键可以选择显示的内容。按 f 键之后会显示列的列表,按 a-z 即可显示或隐藏对应的列,最后按回车键确定。

按 o 键可以改变列的显示顺序。按小写的 a-z 可以将相应的列向右移动,而大写的 A-Z 可以将相应的列向左移动。最后按回车键确定。

按大写的 F 或 O 键,然后按 a-z 可以将进程按照相应的列进行排序。而大写的 R 键可以将当前的排序倒转。

==============================

top命令使用过程中,还可以使用一些交互的命令来完成其它参数的功能。这些命令是通过快捷键启动的。

<空格>:立刻刷新。

P:根据CPU使用大小进行排序。

T:根据时间、累计时间排序。

q:退出top命令。

m:切换显示内存信息。

t:切换显示进程和CPU状态信息。

c:切换显示命令名称和完整命令行。

M:根据使用内存大小进行排序。

W:将当前设置写入~/.toprc文件中。这是写top配置文件的推荐方法。

可以看到,top命令是一个功能十分强大的监控系统的工具,对于系统管理员而言尤其重要。但是,它的缺点是会消耗很多系统资源。

应用实例

使用top命令可以监视指定用户,缺省情况是监视所有用户的进程。如果想查看指定用户的情况,在终端中按“U”键,然后输入用户名,系统就会切换为指定用户的进程运行界面。

a.作用

free命令用来显示内存的使用情况,使用权限是所有用户。

b.格式

free

c.主要参数

-b -k -m:分别以字节(KB、MB)为单位显示内存使用情况。

-s delay:显示每隔多少秒数来显示一次内存使用情况。

-t:显示内存总和列。

-o:不显示缓冲区调节列。

d.应用实例

free命令是用来查看内存使用情况的主要命令。和top命令相比,它的优点是使用简单,并且只占用很少的系统资源。通过-S参数可以使用free命令不间断地监视有多少内存在使用,这样可以把它当作一个方便实时监控器。

#free -b -s5

使用这个命令后终端会连续不断地报告内存使用情况(以字节为单位),每5秒更新一次。

linux能在各种cpu上运行!

Linux是通用操作系统,在服务器领域很有市场。

CPU不是为windows研制的。CPU要往外卖也不只限于为了PC平台。一个CPU架构研制成功可以衍生出很多子版本,用在不扰模同硬件中,它们并不都有win。CPU要往外卖,前提是这个CPU硬件是兼容现代操作系统,Linux是其中之一。

否则没有软件能在上面跑,谁还买你的CPU?

公布的细节只限于跟操作系统相关的部分,指令集本身就必须公开的。这个如果它不公开禅李迅那CPU上就没操作贺此系统能跑了,要它就没用了。

Linux只是一个内核平台。arm测试处理器时自己也需要一个可以运行的平台。所以它本身的开发人员也会移植linux。

win 为何不主动兼容其他处理器呢?因为微软要卖自己的硬件,同时要卖自己的软件。它的系统是用来卖的。技术界吃微软亏吃多了。linux 是大家都能用的。 试想买一台电脑 必须买某个人的软件,那么那个卖软件的人是不是就拥有随意提价优势呢?以前大家都吃微软的亏,大家都努力兼容微软系统,搞到最后都求微软高抬贵手。 当下企业战略就是系统要独立,更好的候选者也就是Linux。

楼上答案已经好了,我只想说Unix和Linux才是真正的操作系统

看看linux的市场份额。。。

linux 多cpu执行命令的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于linux 多cpu执行命令,Linux下如何让多CPU同时执行命令,怎么使用Linux命令查看CPU使用率,linux能在各种cpu上运行!的信息别忘了在本站进行查找喔。


数据运维技术 » Linux下如何让多CPU同时执行命令 (linux 多cpu执行命令)