1 文本内容处理命令

1.1 grep

grep 输出包含匹配模式的行
grep -v 反向搜索（输出不匹配指定模式的行）
grep -n 显示指定模式的那些行的行号
grep -c 显示有多少行含有匹配的模式
grep -e 指定多个匹配模式,实现多个选项间的逻辑or关系
grep -o 只显示匹配项
grep -q 静默模式，不输出任何信息
grep -i 忽略字符大小写
grep -w 匹配整个单词
grep -E 使用ERE，相当于egrep
grep -F 不支持正则表达式，相当于fgrep
grep -f file 根据模式文件，处理两个文件相同内容 把第一个文件作为匹配条件
grep -r 递归目录，即在目录及其子目录中搜索，但不处理软链接
grep -R 递归目录，但处理软链接

grep -m \# 匹配\#次后停止
grep -m 1 root /etc/passwd #多个匹配只取第一个

-A \# after, 后\#行
grep -A3 root /etc/passwd #匹配到的行后3行也显示出来
-B \# before, 前\#行
-C \# context, 前后各\#行

grep [] file 默认使用正则表达式来匹配模式
“^……”表示以……开头，“……$”表示以……结尾
“^$”表示空行
ifconfig ens33 |grep -Eo "[0-9]\+\.[0-9]\+\.[0-9]\+\.[0-9]\+"|head -1
ifconfig ens33 |grep -Eo "([0-9]{1,3}\.){3}[0-9]{1,3}"|head -1

1.2 sort

sort 对文本文件中的数据进行排序
sort -n 将字符串按数值排序
sort -M 将三字符的月份名按月份排序（常用于Linux日志文件每行起始的时间戳）
sort -b 排序时忽略起始的空白字符
sort -r 逆序排序（升序变降序，便于查看目录中哪些文件占用磁盘空间最多）
sort -R 随机排序
sort -f 选项忽略（fold）字符串中的字符大小写
sort -u 选项（独特，unique），合并重复项，即去重
sort -k 排序键从POS1位置开始，到POS2位置结束（如果指定了POS2的话）
sort -t 指定字段分隔符
例：sort -t ':' -k 3 -n /etc/passwd

1.3 uniq

uniq 单独使用是对连续重复的行去重
uniq -c	显示每行连续出现的次数
uniq -d	仅显示连续重复过的行
uniq -u	仅显示不曾连续重复的行

cat log|cut -d" " -f1|sort|uniq -c|sort -nr |head  查看访问日志，找出访问前10名的用户

1.4 tr

格式：tr [选项]... SET1 [SET2]
# SET 是一组字符串，一般都可按照字面含义理解
tr -d 删除
tr -s 压缩
tr -c 用字符集2中的字符替换字符串1中字符集的补集，要求字符集为ASCII。

1.5 cut

cut -d (delimiter): 指明分隔符，默认tab
cut -f 想要获取的字段
	#: 第#个字段,例如 3
	#,#,#：离散的多个字段，例如 1,3,6
	#-#：连续的多个字段, 例如 1-6
	混合使用：1-3,7
cut -c 取每行第几个字符
cut -b 取每行第几个字符
cut --complement 排除指定的字段
cut --output-delimiter 替换分隔符

例：cut -d ":" -f 1-3 /etc/passwd		# 1-3表示1到3
	cut -d ":" -f 1,3 /etc/passwd		# 1,3表示1和3
	cut d ":" -f 1-3 --output-delimiter=" " /etc/passwd			# 将“：”分隔符替换为“空格”

1.6 split

split [-b ][-C ][-l ][要切割的文件][输出文件名前缀][-a ]

split -b<字节> 指定按多少字节进行拆分，也可以指定 k、M、G、T 等单位。
split -<行数>或-l<行数> 指定每多少行要拆分成一个文件。
输出文件名前缀：设置拆分后的文件的名称前缀，没有指定拆分后文件的命名方式的情况下，split 会默认采用 x 字符作为文件前缀，并在前缀后加上编号，默认从 aa 开始。
split -a<后缀长度>：默认的后缀长度是 2，也就是按 aa、ab、ac 这样的格式依次编号。

1.7 例题

1.7.1统计当前主机状态

ss -antp | grep -v '^State' | cut -d ' ' -f 1 | sort | uniq -c

1.7.2 统计nginx的访问日志当中多次出现的ip地址

cat /var/log/nginx/access.log | cut -d " " -f 1 | sort | uniq -c

2 正则表达式

2.1 通配符：用来匹配文件名或者目录名

• *：任意一个或多个字符

• ?：任意的单个字符

• 匹配任意单个字符

  • [a-z]
  • [A-Z]
  • [0-9]

2.2 正则表达式

按照一定的格式和符号来匹配文件内容（命令输出的结果)

正则表达式的格式：

基本正则表达式 grep

扩展正则表达式 grep -E = egrep

使用正则表达式，匹配内容最好是用 引号 引起来。

2.2.1 元字符

• .：任意单个字符
• \：表示转义符
• [0-9]：匹配文件内容的任意单个数字
• [a-z]：匹配文件内容的任意单个小写字母
• [A-Z]：匹配文件内容的任意单个大写字母
• ()：分组
• [^]：取反
• [:alnum:]：字母和数字，等价于**[0-9a-zA-Z]**
• [:alpha:]：代表任何英文大小写字符，亦即 [A-Za-z]
• [[:lower:]]：小写字母相当于 [a-z]
• [[:upper:]]：大写字母相当于 [A-Z]
• [[:blank:]]：空白字符（空格和制表符）
• [:space:]：包括空格、制表符(水平和垂直)、换行符、回车符等各种类型的空白,比 [:blank:] 包含的范围广
• [:cntrl:]：不可打印的控制字符（退格、删除、警铃…）
• [:digit:]：十进制数字
• [:xdigit:]：十六进制数字
• [:graph:]：可打印的非空白字符
• [:print:]：可打印字符
• [:punct:]：标点符号
• \w：匹配单词构成部分，等价于**[[:alnum:]]**
• \W：匹配非单词构成部分，等价于**[^_[:alnum:]]**
• \S：匹配任何非空白字符。等价于 [^ \f\n\r\t\v]
• \s：匹配任何空白字符，包括空格、制表符、换页符等等。等价于 [\f\n\r\t\v]

2.2.2 匹配次数

• *：任意字符，表示匹配前面的任意字符，0次，尽可能多的匹配
• .*：匹配任意长度的字符，最少要有一次。也就是匹配所有
• ?：匹配前面的字符0次或者1次，可有可无
• \+：匹配前面的字符，最少出现1次有且>=1
• \{n\}：匹配前面的字符等于多少次
• \{m,n\}：匹配前面的字符最少m次，最多n次
• \{,n\}：匹配前面的最多n次，只要比n小，都算
• \{n, \}：匹配前面的字符至少n次，只要比n大，都算

使用拓展正则表达式将"\"去掉即可

2.2.3 位置锚定

• ^：以什么开始

• $：以什么结尾

• ^$：空行（tab或\n）

• ^root$ :匹配整个单词，且这一行只有这个单词

词首锚定：\b

词尾锚定：\b

2.2.4 例题

1、显示/etc/passwd中以sh结尾的行

grep -E "sh$" /etc/passwd

2、查找/etc/inittab中含有“以s开头，并以d结尾的单词”模式的行

grep -E "\bs[a-z]*d\b" /etc/inittab

3、查找ifconfig命令结果中的1-255之间的整数

ifconfig ens33 | grep -Eo "\b[1-9]\b|\b[1-9][0-9]\b|\b1[0-9]{2}\b|\b2[0-4][0-9]\b|\b25[0-5]\b"

4、在/etc/passwd中取出默认shell为bash的行

grep -E "bash$" /etc/passwd

5、高亮显示passwd文件中冒号，及其两侧的字符

grep -E ".?:.?" /etc/passwd