有关qsub在Linux下的使用指南 (qsub linux)

在Linux环境下,有许多工具和命令可用于提升工作效率和计算速度。其中,qsub是一款使用广泛的命令行工具,可帮助用户将计算任务提交到集群系统中进行处理。本文将介绍qsub在Linux下的具体使用指南,帮助读者更好地掌握和使用该工具。

一、qsub的基本介绍

qsub全称为”Queue Submitter”,是Sun Grid Engine (SGE)集群管理软件中的一个命令行工具。它的主要作用是将用户提交的任务加入到队列中,等待计算节点执行。qsub可在Unix/Linux等操作系统下使用,是高性能计算集群中提交任务的标准方式之一。

二、qsub的安装与配置

如果您的系统中已经安装了SGE集群管理软件,则qsub命令已经包含在其中。如果没有安装,可以通过以下命令进行安装:

sudo apt-get install gridengine-client

安装完成后,需要进行相关配置。具体步骤如下:

1. 配置集群管理器

在集群中安装SGE集群管理软件后,需要执行以下命令来配置SGE:

sudo /usr/share/gridengine/util/install_modules/install_modules_local

安装完成后,需要启动SGE服务:

sudo service gridengine-master start

2. 配置qsub

安装完SGE集群管理软件后,可以使用qsub命令来执行计算任务。在使用qsub之前,需要进行以下配置:

(1)创建一个工作目录,在其中创建一个脚本文件。脚本文件中包含要执行的命令和参数。

(2)在脚本文件的开头写入#!/bin/bash,表示这是一个shell脚本。

(3)在脚本文件中添加作业控制参数,如#BSUB命令、#PBS命令等。

(4)将脚本文件命名为job.sh并保存在工作目录中。

(5)使用qsub命令将任务提交到集群系统中。

三、qsub的使用

1. 命令格式

qsub [-ACdfklmnpqtTv] [-@ 条件] [-a 开始时间] [-A 账户] [-b y/n] [-c n] [-C 目录] [-cwd] [-e 错误文件] [-h] [-I] [-j y/n] [-js 脚本] [-l 资源] [-m y/n] [-M 邮件地址] [-N 作业名称] [-o 输出文件] [-p 优先级] [-P 项目] [-r y/n] [-S 解释器] [-u 用户] [-v 环境变量] [-V] [-w 类型] [-W 等待时间] [-x] [脚本]

2. 常用参数

(1)-l 资源:指定作业执行要求的资源,如使用节点数、CPU数量、内存大小等。

(2)-N 作业名称:指定作业的名称,方便管理和查找。

(3)-o 输出文件:指定标准输出文件的名称。

(4)-e 错误文件:指定标准错误输出文件的名称。

(5)-p 优先级:指定作业执行的优先级。

(6)-q 主机名:指定要使用的计算节点。

(7)-S 解释器:指定作业使用的解释器。

(8)-V:将环境变量传递给脚本中的程序。

四、qsub的示例

下面给出一个qsub的使用示例,该示例中,我们将使用qsub命令将一个简单的程序提交到集群系统中执行。

1. 创建一个工作目录,将以下脚本保存为job.sh:

#!/bin/bash

#$ -N test

#$ -cwd

#$ -l nodes=1:ppn=8

echo “hello, world!”

以上脚本表示,我们将创建一个名为test的作业,要求使用1个节点和8个CPU核心,使用默认的工作目录并输出”hello, world!”。

2. 使用qsub命令提交作业并查看执行结果:

qsub job.sh

qstat -u [username]

以上命令将作业提交到集群系统中,并使用qstat查看执行结果。如果作业执行成功,将在标准输出文件中输出”hello, world!”。

五、

通过本文的学习,我们了解了qsub在Linux环境下的相关知识和使用指南。在实际工作中,qsub将为用户提供便捷的计算任务提交方式,极大地提高了工作效率和计算速度。希望读者们能够深刻理解并掌握qsub命令的使用方法,从而更好地利用Linux环境中的优秀工具。

相关问题拓展阅读:

Linux/超算中PBS常用命令

新手,纯纯搬运工【出处引用自:

1. Linux常用命令

最常用:

ls(英文全拼:list files):列出目录及文件名

ls -l:列出目录及文件名,可查看更多

ls -al:可以看到隐藏文件

cd(英文全拼:change directory):切换目录

cd .. :返回上一级

cd

文件夹

名:进入目录

pwd(英文全拼:print work directory):显示目前的目录

mkdir 文件夹名(英文全拼:make directory):创建一个新的目录

rmdir 文件夹名(英文全拼:remove directory):删除一个空的目录

cp (英文全拼:copy file): 复制文件或目录

mv (英文全拼:move file): 移动文件或目录,或修改文件或目录的名称

rm(英文全拼:remove): 删除文件

rm -r 文件夹名:递归删除某目录

clear:清空terminal的所有内容(或者使用Ctrl+L)

tab按键:补充完整文件名或文件夹名

次常用:

vim/vi 某文件 (编辑文件)

nano 某文件 (编辑文件)

touch 文件 (新建空文件)

sudo -s (切换到root模式磨桥姿)

exit (退出root模式等)

sudo chmod -R 755 文件名/文件夹名 (获取文件/文件夹的755权限)

chown (改变文件或目录的所有者)

chgrp (改变文件或目录的所属组)

make (编译成.exe)

解压/解包:

tar文件 (注:tar是打包,不是压缩!)

解包:tar xvf FileName.tar

打包:tar cvf FileName.tar DirName

.gz文件

解压1:gunzip FileName.gz

解压2:gzip -d FileName.gz

压缩:gzip FileName

.

tar.gz

 和 .tgz文件

解压:tar zxvf FileName.tar.gz

压缩:tar zcvf FileName.tar.gz DirName

安装和卸载deb软件包:

安装:sudo dpkg -i deb文件

查看:sudo dpkg -l

卸载:sudo dpkg -r 软件名

参考资料:

  Linux 教程

  Linux常用命令

  linux中tar命令的用法

  全瞎绝网最全Linux命令总结

2. vim/vi里的操作

:q 退出

:wq 保存并退出

:w 保存

:q! 强行退出(不保存退出)

:w! 强行保存

i 进入编辑,转为输入模式(光标前面)

a 进入编辑,转为输入模式(光标后面)

o 进入编辑,转为输入模式(光标下方新建一行)

Esc 退消肆出i(插入)命令

3. 超算中PBS常用命令

pbsnodes (查看所有节点)

pbsnodes -l free (查看空闲节点)

pbsnodes 某节点 (查看某节点状态)

.sh

某节点 (转到某节点)

exit (离开节点)

qsub 文件名.pbs/sh (提交任务)

qstat (列出状态)

qstat -q (列出队列)

qstat -n (列出队列中使用的节点)

qstat -f jobid (查看jobid任务的详细信息)

qdel jobid (取消任务)

4. 其他

(1)Linux开机自启

sh文件中包含:

#!/bin/bash#chkconfig:#description:auto_run

sh文件移动到/etc/init.d后,分别输入命令:

chkconfig –add .sh

chkconfig –list   

chkconfig .sh on 

service .sh start

参考资料: linux 开机启动 .sh 文件 – 自己的太阳 – 博客园

(2)Linux

环境变量

方法1:临时使用环境变量:export PATH=”/home/www/anaconda3/bin:$PATH”

方法2:修改.bashrc文件

参考资料: Linux PATH 作用以及查看和修改方法_haozhepeng的专栏

(3)两个sh文件

a.sh文件(用于提交任务,执行a.py文件)

#!/bin/sh#PBS -N task#PBS -l nodes=1:ppn=1#PBS -q scorecd $PBS_O_WORKDIRexport OMP_NUM_THREADS=1python a.py

a.sh文件(用于提交任务,执行a.

exe文件

#!/bin/sh#PBS -N task#PBS -l nodes=1:ppn=1#PBS -q scorecd $PBS_O_WORKDIRexport OMP_NUM_THREADS=1./a.exe

(4)一个makefile文件

makefile文件(用于编译Fortran文件)

INC := -I/public/software/compiler/intel/composer_xe_2023.2.164/mkl/include/intel64/lp64

LIB := -L/public/software/compiler/intel/composer_xe_2023.2.164/mkl/lib/intel64

mpi:= -I/public/software/mpi/mpich/3.1.4/intel/include /public/software/mpi/mpich/3.1.4/intel/lib -lmpich -limf -lsvml -lintlc

src:=Console1exec:=a

all: $(src).f90

Linux集群使用命令

存储NAS 文件操作

df -h查看空间使用情况

警惕超大 nohup.out

任务提交

任务提交前

qhost–查看集群负载状态

qsub / qsub-sge.pl–提交茄逗任务

qstat–查看任务状态

qdel / qmod–任务控制

任务查看

qhost -j—列出所有用户在每个节点上的任务

qhost -q—列出每个节点上每个队列的任务数

qhost -u username—列出某个用户在每个节点上的任务

提交命令

qsub -cwd -q queue.q test.sh

qsub-sge.pl –maxproc 50 –resource vf=5G –queue queue.q test.sh

任务查看2

qstat -u username—查看某个用户的任务

qstat -u *,—查看所有用户的任枯纳告务

qstat –j jobs_ID—查看某个任务的详细信息

查看.e和.o文件

.e:错误信息

.o:标准输出

任务控制

qdel jobID—删除某个任务

qdel -u username—删除某个用户的所有任务

qmod -s jobID–挂起某个任务

qmod -us jobID—继续运行某个挂起的任务

按任务占用内存大小选择相应的队列

查看队列 qstat -g c

QUEUE

PE.q–并行

cloud.q–云平台

general.q–96G节点

middle.q–96G节点

great.q–大内存节点

plus.q–大内存节点

single.q–Trinity组装

single._p.q—Trinity组没明装(占用内存较大)

TOP监视

编辑于

红旗Linux. bash:qsub:command not found,该怎么解决

——解兆档决方案——

——解决方族戚乱仔咐案——

关于qsub linux的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。


数据运维技术 » 有关qsub在Linux下的使用指南 (qsub linux)