linux sort 命令整理

无论是工作中使用还是应付各种面试，linux sort 都是必须要掌握的 linux 基本命令之一。尤其是 linux sort -k 命令，经常会被搞晕，索性好好研究一下 sort 命令

sort 对文件内容进行排序

语法：

sort [-bcdfimMnr][-o<输出文件>][-t<分隔字符>][+<起始栏位>-<结束栏位>][--help][--verison][文件]

选项：

-b：忽略每行前面开始的空格字符,空格数量不固定时,该选项几乎是必须要使用的("-n"选项隐含该选项，测试发现都隐含)
-c：检查文件是否已经按照顺序排序，如未排序，会提示从哪一行开始乱序
-C：类似于"-c"，只不过不输出任何诊断信息。可以通过退出状态码1判断出文件未排序
-d：只处理英文字母、数字及空格，忽略其他的字符
-f：将小写字母视为大写字母
-h：使用易读性数字(例如:2K、1G)
-i：除了040至176之间的ASCII字符外(八进制0-177)，忽略其他的字符(忽略无法打印的字符如退格/换页键/回车)
-k：以哪个区间 (field) 来进行排序
-m：将几个排序好的文件进行合并，只是单纯合并，不做排序
-M：将前面3个字母依照月份的缩写进行排序
-n：依照数值的大小排序
-o<输出文件>：将排序后的结果存入指定的文件
-r：降序
-u：忽略相同行
-t<分隔字符>：指定分隔符，默认的分隔符为空白字符和非空白字符之间的空字符

参数就不一一介绍了，直接上例子，首先先看下原始的排序数据
cat sort.log

a   mac     2000    500 2K
d   winxp   4000    300 3G
e   bsd     1000    600 4M
b   linux   1000    200 5K
f   SUSE    4000    300 6M
g   winxp   500     300 3G
c   win7    2000    100 7G
c   Debian  600     200 8K

1、打印从哪列开始是乱序
sort -c sort.log; echo $?

sort: sort.log:4: disorder: b   linux   1000    200 5K1

sort -C sort.log; echo $?

1

其中，返回结果 1，表示文件不是已经排序好的文件
2、默认排序( 整行进行ASCII字符升序)
sort sort.log

a   mac     2000    500 2K
b   linux   1000    200 5K
c   Debian  600     200 8K
c   win7    2000    100 7G
d   winxp   4000    300 3G
e   bsd     1000    600 4M
f   SUSE    4000    300 6M
g   winxp   500     300 3G

3、高能来了，让人迷糊的 k 语法，首先看下 k 的语法格式

[ FStart [ .CStart ] ] [ Modifier ] [ , [ FEnd [ .CEnd ] ][ Modifier ] ]

这个语法格式可以被其中的逗号（”,”）分为两大部分，Start部分和End部分
Start和End部分都由三部分组成，其中的Modifier部分就是类似n和r的选项部分，可省略
FStart、Fend，表示使用的域，而CStart则表示在FStart域中从第几个字符开始算"排序首字符",同理,CEnd表示结尾的第几个字符是排序末尾字符,.CStart、.CEnd是可以省略的，分别表示从本域的开头部分开始、到本域的域尾结束,CEnd设定为0,也是表示结尾到域尾。口说无凭，上几个例子吧

3.1 对第三列进行排序，如果不加n，按照 ASCII字符排序
sort -t $'\t' -k 3 sort.log

b   linux   1000    200 5K
e   bsd     1000    600 4M
c   win7    2000    100 7G
a   mac     2000    500 2K
d   winxp   4000    300 3G
f   SUSE    4000    300 6M
g   winxp   500     300 3G
c   Debian  600     200 8K

3.2 加n后，按照数值排序
sort -t $'\t' -k 3n sort.log

g   winxp   500     300 3G
c   Debian  600     200 8K
b   linux   1000    200 5K
e   bsd     1000    600 4M
a   mac     2000    500 2K
c   win7    2000    100 7G
d   winxp   4000    300 3G
f   SUSE    4000    300 6M

3.3 不指定 FEnd 时，多个  -k 从前往后排序可以，从后往前不行
从后往前，多个 -k，数据符合预期
sort -t $'\t' -k 3n -k 1 sort.log

g   winxp   500     300 3G
c   Debian  600     200 8K
b   linux   1000    200 5K
e   bsd     1000    600 4M
a   mac     2000    500 2K
c   win7    2000    100 7G
d   winxp   4000    300 3G
f   SUSE    4000    300 6M

从后往前，多个 -k ，第三列相同时，按照第一列降序排列，数据符合预期
sort -t $'\t' -k 3n -k 1r sort.log

g   winxp   500     300 3G
c   Debian  600     200 8K
e   bsd     1000    600 4M
b   linux   1000    200 5K
c   win7    2000    100 7G
a   mac     2000    500 2K
f   SUSE    4000    300 6M
d   winxp   4000    300 3G

更换成从前往后
sort -t $'\t' -k 1 -k 3n sort.log

a   mac     2000    500 2K
b   linux   1000    200 5K
c   Debian  600     200 8K
c   win7    2000    100 7G
d   winxp   4000    300 3G
e   bsd     1000    600 4M
f   SUSE    4000    300 6M
g   winxp   500     300 3G

sort -t $'\t' -k 1 -k 3nr sort.log

a   mac     2000    500 2K
b   linux   1000    200 5K
c   Debian  600     200 8K
c   win7    2000    100 7G
d   winxp   4000    300 3G
e   bsd     1000    600 4M
f   SUSE    4000    300 6M
g   winxp   500     300 3G

通过 sort -t $'\t' -k 1 -k 3n sort.log和 sort -t $'\t' -k 1 -k 3nr sort.log 返回的结果发现，在第一列相等时，无论其三列是正序排列，还是逆序排列，结果都一样，说明后边的 -k 未生效
当指定 FEend 后
sort -t $'\t' -k 1,1 -k 3nr sort.log

a   mac     2000    500 2K
b   linux   1000    200 5K
c   win7    2000    100 7G
c   Debian  600     200 8K
d   winxp   4000    300 3G
e   bsd     1000    600 4M
f   SUSE    4000    300 6M
g   winxp   500     300 3G

3.4 作用域
紧跟在字段后的选项(如"-k3n"的"n"和"-k2nr"的"n"，"r")称为私有选项，使用短横线写在字段外的选项(如"-n"、"-r")为全局选项。当没有为字段分配私有选项时，该排序字段将继承全局选项，所有选项包括但不限于"bfnrhM"
除了"b"选项外，其余选项无论是指定在FStart还是FEnd中都是等价的，对于"b"选项，指定在FStart则作用于FStart，指定在FEnd则作用于FEnd
sort -t $'\t' -k1r,2 sort.log，可以看出一、二列都是倒叙排列

g   winxp   500     300 3G
f   SUSE    4000    300 6M
e   bsd     1000    600 4M
d   winxp   4000    300 3G
c   win7    2000    100 7G
c   Debian  600     200 8K
b   linux   1000    200 5K
a   mac     2000    500 2K

3.5 注意
指定n选项按数值排序时, 由于"n"选项只能识别数字和负号"-"，当排序时遇到无法识别字符时，将导致该key的排序立即结束，n选项绝对不会跨域进行比较
默认情况下，sort会进行一次"最后的排序"，按照默认规则对整行进行一次排序，这次排序称为"最后的排序"

sort -t $'\t' -k3n sort.log，在第三列相等时，整行会按照 ASCII 进行最后的升序排列

g   winxp   500     300 3G
c   Debian  600     200 8K
b   linux   1000    200 5K
e   bsd     1000    600 4M
a   mac     2000    500 2K
c   win7    2000    100 7G
d   winxp   4000    300 3G
f   SUSE    4000    300 6M

sort -t $'\t' -k3,4n -s sort.log，加了 -s 后，不会进行最后的排序(1000相同时，e在b的前边了)，而是保留原排序

g   winxp   500     300 3G
c   Debian  600     200 8K
e   bsd     1000    600 4M
b   linux   1000    200 5K
a   mac     2000    500 2K
c   win7    2000    100 7G
d   winxp   4000    300 3G
f   SUSE    4000    300 6M

3.6 按照某个域中的第n个字符进行排序
sort -t $'\t' -k2.3,2.3 sort.log，按第二列第三个字符进行排序

c   Debian  600     200 8K
a   mac     2000    500 2K
e   bsd     1000    600 4M
b   linux   1000    200 5K
c   win7    2000    100 7G
d   winxp   4000    300 3G
g   winxp   500     300 3G
f   SUSE    4000    300 6M

4、 -h  使用易读性数字(例如:2K、1G)
sort -t $'\t' -k5h sort.log

a   mac     2000    500 2K
b   linux   1000    200 5K
c   Debian  600     200 8K
e   bsd     1000    600 4M
f   SUSE    4000    300 6M
d   winxp   4000    300 3G
g   winxp   500     300 3G
c   win7    2000    100 7G

1. sort –u 和 sort | uniq 区别
   如果sort 指定 -k 选项，是不等价的, uniq默认是对整行进行去重
   sort -t $'\t' -k2,2 -u sort.log

e   bsd     1000    600 4M
c   Debian  600     200 8K
b   linux   1000    200 5K
a   mac     2000    500 2K
f   SUSE    4000    300 6M
c   win7    2000    100 7G
d   winxp   4000    300 3G

sort -t $'\t' -k2,2 sort.log|uniq

e   bsd     1000    600 4M
c   Debian  600     200 8K
b   linux   1000    200 5K
a   mac     2000    500 2K
f   SUSE    4000    300 6M
c   win7    2000    100 7G
d   winxp   4000    300 3G
g   winxp   500     300 3G

sort -t $'\t' -k2,2 -u sort.log 会对第二列进行去重，而 sort -t $'\t' -k2,2 sort.log|uniq 会对整行进行去重(当然uniq也可以按照第二列进行去重)

作者：smoke_zl
链接：https://www.jianshu.com/p/c4d159a98dd8