Linux系列文章
第十章 正则表达式与文本处理工具
1、正则表达式入门
正则表达式使用单个字符串来描述、匹配一系列符合某个语法规则的字符串。在很多文 本编辑器里,正则表达式通常被用来检索、替换那些符合某个模式的文本。在 Linux 中,grep, sed,awk 等文本处理工具都支持通过正则表达式进行模式匹配。
1.1 常规匹配
一串不包含特殊字符的正则表达式匹配它自己,例如:
cat /etc/passwd | grep root
就会匹配所有包含 root 的行。
1.2 常用特殊字符
1)特殊字符:^
^ 匹配一行的开头,例如:
cat /etc/passwd | grep ^a
会匹配出所有以 a 开头的行
[root@iZ2zei44cqux4qbfqwaz0yZ etc]# cat passwd |grep ^a
adm:x:3:4:adm:/var/adm:/sbin/nologin
apache:x:48:48:Apache:/usr/share/httpd:/sbin/nologin
2)特殊字符:$
$ 匹配一行的结束,例如
[root@iZ2zei44cqux4qbfqwaz0yZ etc]# cat passwd |grep n$
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
chrony:x:998:996::/var/lib/chrony:/sbin/nologin
nscd:x:28:28:NSCD Daemon:/:/sbin/nologin
tcpdump:x:72:72::/:/sbin/nologin
mysql:x:27:27:MariaDB Server:/var/lib/mysql:/sbin/nologin
apache:x:48:48:Apache:/usr/share/httpd:/sbin/nologin
会匹配出所有以 n结尾的行
思考:^$ 匹配什么?
3)特殊字符:.
. 匹配一个任意的字符,例如
会匹配包含 rabt,rbbt,rxdt,root 等的所有行
4)特殊字符:*
* 不单独使用,他和上一个字符连用,表示匹配上一个字符 0 次或多次,例如
会匹配 rt, rot, root, rooot, roooot 等所有行
思考:.* 匹配什么?
5)字符区间(中括号):[ ]
[ ] 表示匹配某个范围内的一个字符,例如
[6,8]------匹配 6 或者 8
[0-9]------匹配一个 0-9 的数字
[0-9] * ------匹配任意长度的数字字符串
[a-z]------匹配一个 a-z 之间的字符
[a-z] * ------匹配任意长度的字母字符串
[a-c, e-f]-匹配 a-c 或者 e-f 之间的任意字符
会匹配 rt,rat, rbt, rabt, rbact,rabccbaaacbt 等等所有行
6)特殊字符:\
\ 表示转义,并不会单独使用。由于所有特殊字符都有其特定匹配模式,当我们想匹配 某一特殊字符本身时(例如,我想找出所有包含 ‘$’ 的行),就会碰到困难。此时我们就要 将转义字符和特殊字符连用,来表示特殊字符本身,例如
[root@iZ2zei44cqux4qbfqwaz0yZ etc]# cat passwd |grep 'a\$b'
就会匹配所有包含 a$b 的行。注意需要使用单引号将表达式引起来。
2、文本处理工具
2.1 cut
cut 的工作就是“剪”,具体的说就是在文件中负责剪切数据用的。cut 命令从文件的每 一行剪切字节、字符和字段并将这些字节、字符和字段输出。
1)基本用法 cut [选项参数] filename
说明:默认分隔符是制表符
(1)数据准备
[root@iZ2zei44cqux4qbfqwaz0yZ apps]# touch cut.txt
(2)切割 cut.txt 第一列
[root@iZ2zei44cqux4qbfqwaz0yZ apps]# cut -d " " -f 1 cut.txt
han
zhang
xiu
dao
zhen
(3)切割 cut.txt 第二、三列
[root@iZ2zei44cqux4qbfqwaz0yZ apps]# cut -d " " -f 2,3 cut.txt
li
tie
xian
you
bao
(4)在 cut.txt 文件中切割出 li
[root@iZ2zei44cqux4qbfqwaz0yZ apps]# cat cut.txt | grep li | cut -d " " -f 2
li
(5)选取系统 PATH 变量值,第 2 个“:”开始后的所有路径:
[root@iZ2zei44cqux4qbfqwaz0yZ apps]# echo $PATH
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/usr/java/jdk1.8.0_131/bin:/usr/java/jdk1.8.0_131/jre/bin:/root/bin
[root@iZ2zei44cqux4qbfqwaz0yZ apps]# echo $PATH | cut -d ":" -f 3-
/usr/sbin:/usr/bin:/usr/java/jdk1.8.0_131/bin:/usr/java/jdk1.8.0_131/jre/bin:/root/bin
(6)切割 ifconfig 后打印的 IP 地址
(下回Linux秘籍三剑客即将登场)