KaliArch · 更新于 2020-04-19

15 Shell三剑客之awk

17 Shell 实战项目

Shell常用工具

Linux中有很多非常实用的工具或命令，灵活运用这些工具，可以帮助我们在Shell编程中化繁为简，如虎添翼。可能一个工具或命令就能让原本负责的问题快速解决，本章节我们来一起丰富我们的工具库，日常可以多积累总结，帮助我们更好的编写Shell。

1. sort

简介：顾名思义，就是用来排序的工具，在我们日常工作中对于重复列的多行输出，如果想要对内容按照特定规则排序，此时就用到了sort工具。

原理：sort 将文件的每一行作为一个单位，相互比较，比较原则默认情况是从首字符向后，依次按 ASCII 码值进行比较，后将他们按升序输出。

语法：sort [OPTION]... [FILE]…

选项说明：

-t：指定以什么作为列分割
-k：用来制定利用那列进行排序，通常-t于-k配合使用
-r：将文本文件降序输出
-n：以数组来进行生序排序
-f：忽略大小写字母
-u：取消重复的行

在此我们不全部展开起所有选项，只根据日常经验结合实际案例列举最常用的选项进行说明。

实例：

对/etc/passwd中以uid从大到小排序

[root@10-234-1-235 ~]# sort -t: -k3 -n -r /etc/passwd
saslauth:x:499:76:Saslauthd user:/var/empty/saslauth:/sbin/nologin
gitlab-www:x:498:497::/var/opt/gitlab/nginx:/bin/false
git:x:497:496::/var/opt/gitlab:/bin/sh
gitlab-redis:x:496:495::/var/opt/gitlab/redis:/bin/false
gitlab-psql:x:495:494::/var/opt/gitlab/postgresql:/bin/sh
gitlab-prometheus:x:494:493::/var/opt/gitlab/prometheus:/bin/sh
mongod:x:493:492:mongod:/var/lib/mongo:/bin/false
nobody:x:99:99:Nobody:/:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
vcsa:x:69:69:virtual console memory owner:/dev:/sbin/nologin
apache:x:48:48:Apache:/var/www:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
gopher:x:13:30:gopher:/var/gopher:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
halt:x:7:0:halt:/sbin:/sbin/halt
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
sync:x:5:0:sync:/sbin:/bin/sync
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
root:x:0:0:root:/root:/bin/bash

通过上例可以看到，利用-t选项指定/etc/passwd文件中，以:作为列进行分割，指定uid的列为k3，-n以数字进行排序，-r为倒序排序输出。

2. uniq

简介：对于一些重复输出的行进行去重。

语法：uniq [OPTION]... [INPUT [OUTPUT]]

选项说明：

-c：打印出现的次数，只能统计相邻的；
-d：只打印重复行；
-u：只打印不重复行；
-D：只打印重复行，并且把所有重复行打印出来。

实例：

对/etc/passwd中以:，对最后一列求出现的次数

[root@master ~]# awk -F":" '{print $NF}' /etc/passwd
/bin/bash
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/bin/sync
/sbin/shutdown
/sbin/halt
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/bin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
[root@master ~]# awk -F":" '{print $NF}' /etc/passwd |sort |uniq -c |sort -nr
     22 /sbin/nologin
      1 /sbin/shutdown
      1 /sbin/halt
      1 /bin/sync
      1 /bin/nologin
      1 /bin/bash

先利用awk打印出最后一列内容，之后利用sort 来进行排序，将相同的字符规在一起输出，最后对相同的行进行去重，得出每种不同类型shell出现的次数，最后对数学从大到小排序。

3. find

简介：顾名思义，就是用来在系统中查找文件的工具，可以指定一个基础起始目录，根据不同的选项查找不同的文件。

语法：find path -option [ -print ] [ -exec -ok command ] {} \;

原理：find 根据option在指定的系统路径中查找文件，如果查找到与对应的exec命令，则执行对应的command。

print： find 命令将匹配的文件输出到标准输出；
exec： find 命令对匹配的文件执行该参数所给出的 shell 命令。相应命令的形式为 ‘command’ {} ;，注意 {} 和 \；之间的空格；
ok：和 - exec 的作用相同，只不过以一种更为安全的模式来执行该参数所给出的 shell 命令，在执行每一个命令之前，都会给出提示，让用户来确定是否执行；

选项说明：

- -name   filename               #查找名为 filename 的文件
- -perm                          #按执行权限来查找
- -user    username              #按文件属主来查找
- -group groupname          	 #按组来查找
- -mtime   -n +n                 #按文件更改时间来查找文件，-n 指 n 天以内，+n 指 n 天以前
- -atime    -n +n                #按文件访问时间来查 GIN: 0px">
- -ctime    -n +n                #按文件创建时间来查找文件，-n 指 n 天以内，+n 指 n 天以前
- -type    b/d/c/p/l/f           #查是块设备、目录、字符设备、管道、符号链接、普通文件
- -size      n [c]               #查长度为 n 块 [或 n 字节] 的文件
- -depth                         #使查找在进入子目录前先行查找完本目录
- -prune　　                      #通常和 -path 一起使用，用于将特定目录排除在搜索条件之外。过滤条件写在其他条件前面。

在此我们对命令支持的选项全部展开详解，根据日常经验结合实际案例列举最常用的选项进行说明：

实例:

在当前目录寻找文件名称以.txt结尾的文件并打印出来

[root@master ~]# find   ~   -name   "*.txt"   -print 
/root/kubesphere-all-advanced-2.0.2/scripts/os/requirements.txt
/root/kubesphere-all-advanced-2.0.2/kubesphere/roles/storages/NFS-Server/files/nfs-server-provisioner/templates/NOTES.txt
/root/kubesphere-all-advanced-2.0.2/kubesphere/roles/ks-devops/jenkins/files/jenkins/jenkins-update-center/templates/NOTES.txt
/root/kubesphere-all-advanced-2.0.2/kubesphere/roles/ks-devops/harbor/files/harbor/harbor/templates/NOTES.txt
/root/kubesphere-all-advanced-2.0.2/kubesphere/roles/metrics-server/files/metrics-server/templates/NOTES.txt
/root/kubesphere-all-advanced-2.0.2/kubesphere/roles/openpitrix/files/openpitrix/kubernetes/password.txt

查找 /usr/bin 目录下大于 10M 的文件

[root@master ~]# find /usr/bin -size +10000k -exec ls -ld {} \; 
-rwxr-xr-x. 1 root root 13606800 Jul 10  2018 /usr/bin/ceph-dencoder
-rwxr-xr-x. 1 root root 15863688 Jul 10  2018 /usr/bin/ceph-objectstore-tool
-rwxr-xr-x. 1 root root 15589080 Jul 10  2018 /usr/bin/ceph-osd
-rwxr-xr-x. 1 root root 33073928 Feb 10  2019 /usr/bin/docker
-rwxr-xr-x. 1 root root 38088856 Feb 10  2019 /usr/bin/docker-containerd
-rwxr-xr-x. 1 root root 68608416 Feb 10  2019 /usr/bin/dockerd
-rwxr-xr-x. 1 root root 20895160 Feb 10  2019 /usr/bin/docker-containerd-ctr
-rwxr-xr-x. 1 root root 10785264 Jul 10  2018 /usr/bin/ceph-mon

[root@master ~]# find . -perm 777 -print   
./.helm/repository/cache/local-index.yaml
./kubesphere-all-v2.1.0/k8s/extra_playbooks/inventory
./kubesphere-all-v2.1.0/k8s/extra_playbooks/roles
./kubesphere-all-v2.1.0/k8s/contrib/terraform/openstack/hosts

4. date

在我们编写 Shell 的时候经常遇到需要记录日志的情况，在记录日志的时候需要打上时间戳，以便后期查看那个时间节点运行执行的操作，此时就需要用到 date 命令

简介：date 可以用来显示或设定系统的日期与时间。

选项：

-d<字符串>：显示字符串所指的日期与时间。字符串前后必须加上双引号； 
-s<字符串>：根据字符串来设置日期与时间。字符串前后必须加上双引号； 
-u：显示GMT；

时间格式：

%Y -- 年份
%m -- 月份
%d -- 当月第几天
%t -- Tab 跳格
%H -- 小时，24 小时格式 (0~23)
%I -- 小时，12 小时格式 (0~12)
%M -- 分钟 (00~59)
%S -- 秒 (00~59)
%j -- 今年中的第几天
%Z -- 以字符串形式输出当前时区
%z -- 以数字形式输出当前时区
%F --  文件时间格式 same as % Y-% m-% d
%T -- 24 小时制时间表示 (hh:mm:ss)

实例

计算一个命令执行所需要的耗时

#!/bin/bash 
start=$(date +%s) 
echo "$(date +%F" "%T) 开始执行命令"
sleep 5
echo "$(date +%F" "%T) 执行命令完成"
end=$(date +%s) 
difference=$(( end - start )) 
echo "执行命令总耗时:$difference seconds."

[root@master ~]# bash time.sh 
2020-04-19 10:19:58 开始执行命令
2020-04-19 10:20:03 执行命令完成
执行命令总耗时:5 seconds.

5. xargs

简介：xargs 全称是 transform arguments，意为转换参数，它将标准输入转换为命令行参数。因为 linux 命令行中经常要使用到管道符连接不同的命令，但是有些命令不支持标准输入，此时就需要使用 xargs 将标准输入转换为参数，

语法：stdin_input | xargs [option] cmd

原理：xargs 一般是通过管道符接受标准输入并将其转换为命令行参数传递给 cmd。

实例：

将标准输入转换成命令行参数

[root@master ~]# seq 1 6
1
2
3
4
5
6
[root@master ~]# seq 1 6 |xargs -n 2
1 2
3 4
5 6

删除日志文件

ls *.log |xargs rm -r	f {}

查找 /home/data 下权限为 644 的文件修改权限为 600

find /home/data -perm 644 | xargs chmod 600

查找 jpg 文件并打包

find / -name *.jpg -type f -print | xargs tar -cvzf images.tar.gz

6. 实例

6.1 需求

我们经常在 Linux 系统操作操作文件，俗话说常在河边走，哪有不湿鞋，一不小心删除重要文件是非常危险的。我们可以利用 Shell 脚本来制作一个类似于 Windows 下的回收站，配合定时任务，定期清理这个回收站中的内容，从而达到缓冲及规避危险操作。

6.2 思路

通过 alias rm 来将删除的文件，移动文件到一个回收站目录；
定期的在系统磁盘允许可控的使用率情况下，对回收站目录下的文件进行删除。

6.3 实现

#!/bin/bash
# function:自定义rm命令，每天晚上定时清理

# 指定变量
CMD_SCRIPTS=$HOME/.rm_scripts.sh
TRASH_DIR=$HOME/.TRASH_DIR
CRON_FILE=/var/spool/cron/root
BASHRC=$HOME/.bashrc

[ ! -d ${TRASH_DIR} ] && mkdir -p ${TRASH_DIR}
cat > $CMD_SCRIPTS <<EOF
PARA_CNT=\$#
TRASH_DIR=$TRASH_DIR

for i in \$*; do
     DATE=\$(date +%F%T)
     fileName=\$(basename \$i)
     mv \$i \$TRASH_DIR/\$fileName.\$DATE
done
EOF

sed -i "s@$(grep 'alias rm=' $BASHRC)@alias rm='bash ${CMD_SCRIPTS}'@g" $BASHRC
source $HOME/.bashrc

# 制作定时清理任务
echo "0 0 * * * rm -rf $TRASH_DIR/*" >> $CRON_FILE
echo "删除目录:$TRASH_DIR"
echo "删除脚本:$CMD_SCRIPTS"
echo "请执行:source $BASHRC 来加载文件或退出当前shell重新登录"

对防治误删除脚本进行系统测试。

[root@10-234-1-235 ~]# bash custom_rm.sh 
删除目录:/root/.TRASH_DIR
删除脚本:/root/.rm_scripts.sh
请执行:source /root/.bashrc 来加载文件或退出当前shell重新登录
[root@10-234-1-235 ~]# rm testdir/
[root@10-234-1-235 ~]# rm wget-log 
[root@10-234-1-235 ~]# ls -la .TRASH_DIR/
total 16
drwxr-xr-x.  3 root root 4096 Apr 18 20:11 .
dr-xr-x---. 13 root root 4096 Apr 18 20:11 ..
drwxr-xr-x.  2 root root 4096 Apr 18 20:10 testdir.2020-04-1820:11:37
-rw-r--r--.  1 root root    0 Jan  9 21:59 wget-log.2020-04-1820:11:40

# 查看定时任务
[root@10-234-1-235 ~]# crontab -l
0 0 * * * rm -rf /root/.TRASH_DIR/*

7. 小结

Shell 编程就是利用工具加数据结构流程控制实现一组操作，所以掌握更多常用的工具或命令非常利于我们编写 Shell 脚本，平时可以多尝试利用各种命令或工具，并在 Shell 中熟练运用它们，勤练并反思总结，归纳整理，日积月累就会形成自己强大的工具库。

15 Shell三剑客之awk

17 Shell 实战项目

我要提出意见反馈

热搜

最近搜索 清空

我的购物车

已加入门课程

购物车里空空如也

Shell 入门教程

前端开发

JavaScript

JavaScript 入门教程

TypeScript 入门教程

Vue 入门教程

Ajax 入门教程

ES6-10 入门教程

Yarn 入门教程

ECharts 入门教程

HTML & CSS

CSS3 入门教程

雪碧图入门教程

移动端布局教程

Html5 入门教程

Sass 入门教程

HTML 入门教程

canvas 入门教程

uni-app 入门教程

服务端相关

服务器

Nginx 入门教程

HTTP 入门教程

Docker 入门教程

Shell 入门教程

Linux 入门教程

开发工具

Gradle 入门教程

Vim 编辑器教程

RESTful 规范教程

Dreamweaver 教程

Markdown 入门教程

Maven 入门教程

Eclipse 编辑器教程

GitHub 入门教程

Android Studio 编辑器教程

PyCharm 编辑器教程

Sublime Text 使用教程

Postman 教程

Git入门教程

热门服务端语言

C 语言入门教程

Go 入门教程

Kotlin 教程

Ruby 入门教程

ThinkPHP 入门教程

Java

基础应用

Java 入门教程

Android 入门教程

算法入门教程

数据结构入门教程

Lambda 表达式教程

Java 并发原理入门教程

设计模式入门教程

Java并发工具

JVM 入门教程

RabbitMQ 入门教程

网络编程入门教程

后端通用面试教程

框架应用

Spring Boot 入门教程

Spring 入门教程

Hibernate 入门教程

MyBatis 入门教程

Spring MVC 入门教程

Swagger 入门教程

Zookeeper 入门教程

Netty 教程

Spring Security

微服务

Spring Cloud Hystrix

Python

基础应用

Python 入门语法教程

最近搜索清空