轻松掌握:Linux中切割文件的利器——split (linux split 切割)

在Linux系统中,我们经常需要切割大文件,例如将10G的日志文件切割为1G的小文件,以便进行处理或传输。此时,split命令就成为了我们的救星。split命令可以将一个大文件切割为多个小文件,同时也可以将多个小文件合并为一个大文件。本文将为大家介绍如何使用split命令轻松实现文件切割,以及其中的一些常用选项和技巧。

一、基本语法

split命令的基本语法如下:

“`

split [OPTION] [INPUT [PREFIX]]

“`

其中,OPTION为选项,INPUT为要切割的文件名,PREFIX为输出文件名的前缀。如果省略输入文件名,则默认从标准输入读取数据;如果省略前缀,则默认为”x”。例如,将一个名为”bigfile.txt”的文件切割为每个文件大小为1G的小文件,可以使用以下命令:

“`

split -b 1G bigfile.txt allfile.

“`

该命令将生成文件名以”allfile.”开头的多个小文件,每个文件的大小为1G(最后一个文件的大小可能不足1G)。

二、选项详解

1. -a, –suffix-length=N

指定文件名后缀的长度,默认为2。例如,如果指定-a 4,则生成的小文件的后缀形如”.aaaa”、”.aaab”、”.aaac”等。

2. -b, –bytes=SIZE

指定每个文件的大小。SIZE可以采用常用的大小单位,例如KB、MB、GB等。例如,如果指定-b 1M,则生成的每个小文件的大小为1MB(最后一个文件的大小可能小于1MB)。

3. -C, –line-bytes=SIZE

指定每一行的字节数,在指定行数(-l选项)时使用。例如,如果指定-C 1024,则每1024个字节为一行。

4. -d, –numeric-suffixes

将文件名后缀改为数字格式,例如”.001″、”.002″、”.003″等。

5. -l, –lines=NUMBER

指定每个文件的行数,如果文件中的行数不足指定值,则最后一个文件可能会比其他文件要小。例如,如果指定-l 100,则生成的每个小文件包含100行数据(最后一个文件的行数可能小于100)。

6. –verbose

显示输出信息。

7. –help

显示帮助信息。

8. –version

显示版本信息。

三、常用技巧

1. 将多个小文件合并为一个大文件

使用cat命令将多个小文件合并为一个大文件。例如,将名为”allfile.”开头的多个小文件合并为一个名为”bigfile.txt”的文件,可以使用以下命令:

“`

cat allfile.* > bigfile.txt

“`

2. 将大文件切割为定长小文件

使用split命令将大文件切割为定长小文件时,可能会出现最后一个文件的大小小于指定值的情况。为了解决这个问题,可以使用dd命令来将最后一个小文件的大小调整为指定值。例如,将名为”bigfile.txt”的文件切割为每个文件大小为1G的小文件,并将最后一个小文件的大小调整为1G,可以使用以下命令:

“`

split -b 1G bigfile.txt allfile.

dd if=/dev/zero of=allfile.N bs=1 count=0 seek=1G

“`

其中,N为最后一个小文件的编号,bs为块大小,count为块数,seek为偏移量,if为输入文件,of为输出文件。以上命令将在最后一个小文件中插入一个1G大小的空块,使得最后一个小文件的大小为1G。

3. 将大文件切割为指定行数的小文件

使用split命令将大文件切割为指定行数的小文件时,如果文件中的行数不足指定值,则最后一个文件可能会比其他文件要小。为了避免出现这种情况,可以使用sed命令在文件末尾添加空行。例如,将名为”bigfile.txt”的文件切割为每个文件包含100行数据的小文件,并且最后一个文件的行数也为100时,可以使用以下命令:

“`

sed -i -e ‘$a\’ bigfile.txt

split -l 100 bigfile.txt allfile.

“`

其中,sed命令用于在bigfile.txt文件末尾添加一个空行,-i选项指定对原文件进行修改并保存,-e选项指定要执行的命令。

四、

split命令是Linux中一款非常实用的文件切割工具,可以将一个大文件切割为多个小文件或将多个小文件合并为一个大文件。本文介绍了split命令的基本语法、常用选项以及一些实用技巧,希望能够对读者有所帮助。

相关问题拓展阅读:

linux分割文件命令

查看split命令语法:

Linux打包和压缩

打包

打包,也称为归档,指的是一个文件或目录的,而这个被存储在一个文件中。归档文件没有经过压缩,因此,它占用的空间是其中所有文件和目录的总和。通常,归档总是会和系统备份联系在一起。

压缩

压缩是指利用算法将文件进行处理,已达到保留更大文件信息,而让文件体积变小的目的。其基本原理为,通过查找文件内的重复字节,建立一弯芦个相同字节的词典文件,并用一个代码表示。

压缩和归档文件类似,压缩文件也是一个文件和目录的,且这个也被存储在一野山个文件中,但它们的不同之处在于,压缩文件采用了不同的存储方式,使其所占用的磁盘空间比中所有文件大小的总和要小。

由于计算机处理的信息是以二进制的形式表示的,因此,压缩软件就是把二进制信息中相同的字符串以特殊字符标记,只要通过合理的数学计算,文件的体积就能够被大大压缩。把一个或者多个文件用压缩软件进行压缩,形成一个文件压缩包,既可以节省存储空间,又方便在网络上传送。

对文件进行埋脊带压缩,很可能损坏文件中的内容,因此,压缩又可以分为有损压缩和无损压缩。

打包和压缩的区别

打包指的是将多个文件和目录集中存储在一个文件中,而压缩则指的是利用算法对文件进行处理,从而达到缩减占用磁盘空间的目的。

Linux下,常用打包命令有2个,分别是tar和dd;常用的压缩命令有很多,比如gzip、zip、bzip2等。

主要针对单个文件压缩,而非目录

此工具来自于ncompress包,此工具目前已经很少使用

对应的文件是 .Z 后缀

格式

常用选项

范例

zcat file.Z 不显式解压缩的前提下查看文本文件内容

范例

来自于 gzip 包

对应的文件是 .gz 后缀

格式历桥尘

常用选项

范例

范例

来自于 bzip2 包

对应的文件是 .bz2 后缀

格式

常用选项

范例

来自于 xz 包

对应的文件是 .bz2 后缀

选项

范例

zip 可以实现打包目录和多个文件成一个文件并压缩,但可能消隐会丢失文件属性信息,如:所有者和组信息,一般建议使用 tar 代替

分别来自于 zip 和 unzip 包

选项

范例

范例:交互式加密和解密

范例: 非交互式加密和解密

tar 即 Tape ARchive 磁带归档,可以对目录和多个文件打包一个文件,肢禅并且可以压缩,保留文件属性不丢失,常用于备份功能,推荐使用

对应的文件是 .tar 后缀

格式

选项

(1)创建归档,保留权限

(2)追加文件至归档:注:不支持对压缩文件追加

(3) 查看归档文件中的文件列表

(4) 展开归档

(5) 结合压缩工具实现:归档并压缩

范例

范例

范例

split 命令可以分割一个文件为多个文件

范例

将多个切割的小文件合并成一个大文件

cpio 是历史悠久的打包和解包工具,不过目前也已较少使用

cpio 命令是通过重定向的方式将文件进行打包备份,还原恢复的工具,它可以解压以“.cpio”或者“.tar”结尾的文件

格式

常用选项

范例

linux下如何把split分割后的文件跟tar打包操作合并

#split -b 100m -d name file ; tar -zcvf file.tar.gz file*

关于linux split 切割的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。


数据运维技术 » 轻松掌握:Linux中切割文件的利器——split (linux split 切割)