一、正则表达式

1.1 正则表达式概述

        1. 正则表达式的定义

        2. 正则表达式用途

        正则表达式对于系统管理员来说是非常重要的，系统运行过程中会产生大量的信息，这些信息有些是非常重要的，有些则仅是普通信息，这时可以通过正则表达式快速提取“有问题”的信息。目前很多软件也支持正则表达式，最常见的就是邮件服务器。在Internet中，垃圾/广告邮件经常会造成网络拥塞，如果在服务器端就将这些问题邮件剔除的话，就可以减少不必要的宽带消耗。

1.2 基础正则表达式

        在linux中常见的文件处理工具中grep和sed支持基础正则表达式。要掌握基础正则表达式，首先必须了解正则表达式所包含元字符的意义，下面通过grep命令以举例的方式逐个介绍。

        1. 基础正则表达式示例

        (1) 查找特定字符

        查找特定字符非常简单，使用格式为：

grep [选项] '查找关键字' 要查找的文件或数据流  

        (2) 利用中括号"[]"来查找集合字符

         可以通过中括号更精细地查找要查找的字符，例如：

#查找字符串，开头为sh和结尾rt，但中间位置的字符不同

grep 'sh[io]rt' 要查找的文件或数据流  

意思是查找以前面为sh，后面为rt，但是中间位置为"i"或者"o"的字符串

#也可以反向搜索，查找中间位置不是"i"或者"o"的字符串

grep 'sh[^io]rt' 要查找的文件或数据流

也可以用在开头位置或结尾位置，过滤开头是"i"或者"o"的字符串。

grep '[^io]shrt' 要查找的文件或数据流

grep 'shrt[^io]' 要查找的文件或数据流

#要范围性地查找或过滤字符串

grep 'sh[a-z]rt' 要查找的文件或数据流 

意思是中间位置的字符是a到z且开头为sh，后面为rt的都在查找的范围内。

注意a-z可以换为0-9或A-Z，要指定多个范围可以写在前一个范围的后面，不需要空格。

        (3) 查找任意一个字符"."与重复字符"*" 

        在正则表达式中，小数点也是一个元字符，代表任意一个字符。例如，执行以下命令就可以查找"w？？d"的字符串，即共有4个字符，以w开头，以d结尾

grep -n 'w..d' 要查找的文件或数据流  #注意小数点只会匹配一个任意字符。

#命令执行之后会从文件或数据流中找到以w开头，以d结尾，中间是任意两个字符的字符串。

        在正则表达式中，"*"可以匹配前面一个字符0次或多次，所以通过将w..d中的后一个小数点换为一个*，就可以匹配开头为w，结尾为d的，中间有任意字符、任意数量的字符串(这是"."和"*"结合使用得到的结果)。注意，在这里"*"只是对自己前面的一个字符"."进行匹配0次或多次。再举一个例子就是：

grep ‘ooo*’ 要查找的文件或数据流

#这个只会匹配"*"前面一个o0次或多次，开头的另外两个o不会进行匹配。

        (4) 查找连续字符范围“{}”

        在上面的示例中，使用了“.”与“*”来设定零个到无限多个重复的字符，如果想要限制一个 范围内的重复的字符串该如何实现呢？例如，查找三到五个o的连续字符，这个时候就需要使用基础正则表达式中的限定范围的字符“{}”。因为"{}"在Shell中具有特殊意义，所以在使用"{}"字符时，需要利用转义字符"\"，将"{}"转换为普通字符。"{}"字符的使用方法如下：

#查询两个o的字符

grep 'o\{2\}' 要查找的文件或数据流

#查询以 w 开头以 d 结尾，中间包含 2～5 个 o 的字符串。

grep 'wo\{2,5\}d' 要查找的文件或数据流

#查询以 w 开头以 d 结尾，中间包含 2 个或 2 个以上 o 的字符串

grep 'wo\{2,\}d' 要查找的文件或数据流

        2. 元字符总结

1.3 扩展正则表达式

        扩展正则表达通过使用范围更广的扩展正则表达式能够简化使用正则表达式的指令。例如查询除文件中空白行与行首为“#”之外的行(通常用于查看生效的配置文件)：

grep -v '^$' 要查找的文件或数据流 | grep -v '^#'

#使用扩展正则表达式之后

egrep -v '^$ | ^#' 要查找的文件或数据流 

#单引号内的管道符号表示或者

        若要使用扩展正则表达式，需要使用egrep或awk命令。egrep 命令是一个搜索文件获得模式，使用该命令可以搜索文件中的任意字符串和符号，也可以搜索一个或多个文件的字符串，一个提示符可以是单个字符、一个字符串、一个字或一个句子。在扩展正则表达式中，常见的扩展正则表达式的元字符主要包括以下几个：

二、文本处理器

        在Linux和Unix系统中包含很多种类的文本处理器或文本编辑器，而grep、sed、awk更是Shell编程中经常使用到的文本处理工具。

2.1 sed工具 

        sed(Stream EDitor)是一个流编辑器，可以读取文本，并根据指定的条件对文本内容进行编辑(删除、替换、添加、移动等)，最后输出所有行或经过处理的行。sed也可以在无交互的情况下实现相当复杂的文本处理操作，被广泛应用于脚本中，完成自动化任务。

        sed的主要工作流程包括读取、执行和显示三个过程：

• 读取：sed从输入流中读取一行内容并存储到临时的缓冲区中(又称模式空间)。
• 执行：默认情况下，所有的sed命令都在模式空间中顺利地执行，除非指定了行的地址，否则sed命令将会在所有的行上依次执行。
• 显示：发送修改后的内容到输出流。在发送数据后，模式空间将会被清空。

        1. sed命令的常见用法

        通常情况下调用sed命令有两种模式，如下所示：

sed [选项] '操作' 参数

或

sed [选项] -f scriptfile 参数

参数是指操作的目标文件，多个文件之间用"，"进行分割。"-f"是指定脚本文件，对参数使用指定的脚本文件中的命令进行处理。常见的sed命令选项主要包含以下几种：

        “操作”用于指定对文件的操作行为，就是sed的命令。常见的操作包括以下几种：

        2. 用法示例

        (1) 输出符合条件的文本

#输出符合条件的文本

sed -n 'p' test.txt

#输出文件的所有内容

sed -n '3p' test.txt

#输出第3行

sed -n '3,5p' test.txt

#输出第3到5行

sed -n 'p;n' test.txt

#输出所有奇数行

sed -n '10,${n;p}' test.txt

#输出第10行至文件尾之间的偶数行

         sed命令结合正则表达式时，格式略有不同，正则表达式以"/"包围。示例如下：

sed -n '/the/p' test.txt

#输出包含the的行

sed -n '4,/the/p' test.txt

#输出从第4行开始包含the的行

sed -n '/the/=' test.txt

#输出包含the的行的行号

sed -n '/^PI/p' test.txt

#输出以PI开头的行

sed -n '/\<wood\>/p' test.txt

#输出包含单词"wood"的行

         (2) 删除符合条件的文本

        下面命令中 nl 命令用于计算文件的行数，结合该命令可以更加直观地查看到命令执行的结果。

nl test.txt | sed '3d'

#删除第三行

nl test.txt | sed '3,5d' 

#删除3到5行

nl sed '/^$/d' test.txt

#删除空格行

        (3) 替换符合条件的文本

         在使用sed命令进行替换操作时需要用到s(字符串替换)、c(整行/整块替换)、y(字符转换)命令选项，常见的用法如下所示:

sed 's/the/THE/' test.txt

#将每行中的第一个the替换为THE

sed 's/l/L/2' test.txt

#将每行中的第 2 个 l 替换为 L。

sed '3,5s/the/THE/' test.txt

#将第3到5行中的the替换为THE。

sed '/the/s/o/O/g' test.txt 

#将包含the的所有行中的o替换为O。

        (4) 迁移符合条件的文本 

        在使用sed命令迁移符合条件的文本时，常用到以下参数：

        具体操作方法如下：

sed ‘/the/{H;d};$G’  test.txt

#将包含 the 的行迁移至文件末尾,{;}用于多个操作

sed '1,5/{H;d};17G' test.txt

#将第 1~5 行内容转移至第 17 行后

sed '/the/w out.file' test.txt

#将包含 the 的行另存为文件 out.file

sed '/the/r /etc/hostname' test.txt

#将文件/etc/hostname 的内容添加到包含 the 的每行以后

sed '3aNEW1\nNew2' test.txt

#在第3行后插入多行内容(NEW1和NEW2),中间的\n 表示换行

        (5)使用脚本编辑文件

 vi opt.list

1,5H

1,5d

17G

sed -f opt.list test.txt

2.2 awk工具

        1. awk常见用法

awk 选项 '模式或条件 {编辑指令}' 文件1 文件2

#过滤并输出文件中符合条件的内容

awk -f 脚本文件 文件1 文件2...

# 从脚本中调用编辑指令 , 过滤并输出内容

        3. 按字段输出文本

 awk '{print $1,$3}' test.txt

#输出每行中的第1、3个字段

awk -F ":" '$7~"/bash"{print $1}' /etc/passwd

#输出以冒号分割且第7个字段中包含/bash的行的第1个字段

        4. 通过管道、双引号调用Shell命令

awk 'BEGIN {while("w" | getline) n++;{print n-2}}'

#调用 w 命令 , 并用来统计在线用户数

2.3 sort工具

        在linux中，常用的文件排序工具有三种：sort、uniq、wc，其中sort是一个以行为单位对文件内容进行排序的工具，也可以根据不同的数据类型来排序。sort 命令的语法为“sort [选项] 参数”，其中常用的选项包括以下几种：

        示例：将文件中的第三行进行方向排序

sort -t ':' -rk 3 test.txt

2.4 uniq工具

具体的语法格式为：uniq [选项] 参数，其中常用选项包括以下几种：

2.5 tr工具

tr [选项] [参数]