Linux中最重要的三个命令在业界被称为“三剑客”，它们是awk、sed、grep。
我们现在知道Linux下面有所有的文件。 对Linux的操作是对文件的处理。 那么，怎么能更好地处理文件呢？ 这用我们上面的三剑客命令。
在说出这三个命令之前我们要插入的插曲是“正则表达式”。
一、正则表达式我个人理解所谓的正则表达式是正则表达式的表达方式。 他用简单的方法实现强大的功能，所以被电脑爱好者使用。
三剑客与正则表达式是什么关系呢？
我们可以这样理解。 三剑客是普通的命令，也有人把他们称为道具。 在我看来是一样的。 正则表达式就像模板。 三剑客能读这个模板。 就这么简单。注意只有三剑客才能读懂这个模版哦！
现在，他们的关系和功能都明白了。 接下来，我会认识到他们是怎么结合在一起的。 正则表达式是一个模板，由普通字符和元字符组成。 普通字符包括大小写字母和数字，但元字符有特殊意义。 具体如下
元字符
功能
意思
^
匹配行首
表示以某个字符开头
$
匹配行尾
表示以某个字符结尾
^$
空行的意思
表示空行的意思
.
匹配任意单个字符
表示任意一个字符
*
3358 www.Sina.com/http://www.Sina.com/http://www.Sina.com/http://www.Sina.com /
字符
*
匹配
0
或多个此字符
表示重复的任意多个字符
屏蔽一个元字符的特殊含义
表示去掉有意义的元字符的含义
[]
匹配中括号内的字符
3358 www.Sina.com/http://www.Sina.com/http://www.Sina.com/http://www.Sina.com /
3358 www.Sina.com/http://www.Sina.com/http://www.Sina.com /
表示过滤括号内的字符
http://www.Sina.com/http://www.Sina.com /
.*
代表任意多个字符
3358 www.Sina.com/http://www.Sina.com/http://www.Sina.com/3358 www.Sina.com.Sina.com
就是代表任意多个字符
lele{n}
3358 www.Sina.com/http://www.Sina.com/http://www.Sina.com/3358 www.Sina.com.Sina.com
用来匹配前面
三剑客的功能非常强大，但我们只是
需要掌握他们分别擅长的领域即可：grep擅长查找功能，sed擅长取行和替换。awk擅长取列。 二、grep文本过滤(模式：pattern)工具，grep, egrep
grep [OPTIONS] PATTERN [FILE...] --color=auto 对匹配到的文本着色显示-v 显示不被pattern匹配到的行-i 忽略字符大小写-n 显示匹配的行号-c 统计匹配的行数-o 仅显示匹配到的字符串-q 静默模式，不输出任何信息-A # after, 后#行-B # before, 前#行-C # context, 前后各#行-e 实现多个选项间的逻辑or关系grep –e ‘cat ’ -e ‘dog’ file-w 匹配整个单词-E 使用ERE,相当于egrep-F 相当于fgrep，不支持正则表达式
举例子：
1、查找文件内容包含root的行数
2、查找文件内容不包含root的行
3、查找以s开头的行
4、查找以n结尾的行
三、sedsed是一种流编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。然后读入下行，执行下一个循环。如果没有使诸如‘D’ 的特殊命令，那会在两个循环之间清空模式空间，但不会清空保留空间。这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。
sed [option]... 'script' inputfile 选项 -n 不输出模式空间内容到屏幕，即不自动打印-e 多点编辑-f /PATH/SCRIPT_FILE: 从指定文件中读取编辑脚本-r 支持使用扩展正则表达式-i 直接编辑文件-i.bak 备份文件并原处编辑script 地址定界 不给地址：对全文进行处理单地址：#: 指定的行，$：最后一行
/pattern/：被此处模式所能够匹配到的每一行地址范围：
#,#
#,+#
/pat1/,/pat2/
`#,/pat1/~：步进
1~2 奇数行
2~2 偶数行编辑命令： d 删除模式空间匹配的行，并立即启用下一轮循环p 打印当前模式空间内容，追加到默认输出之后a []text1 在指定行后面追加文本,支持使用n实现多行追加i []text 在行前面插入文本c []text 替换行为单行或多行文本w /path/somefile 保存模式匹配的行至指定文件r /path/somefile 读取指定文件的文本至模式空间中匹配到的行后= 为模式空间中的行打印行号! 模式空间中匹配行取反处理s///：查找替换,支持使用其它分隔符，s@@@，s###
替换标记： g 行内全局替换p 显示替换成功的行w /PATH/TO/SOMEFILE 将替换成功的行保存至文件中
举例子：
1、打印出文件第二行
2、打印出2-5行的内容
3、将文件中的root全部替换为abc
直接修改读取的文件内容，而不是输出到终端。
s ：取代，可以直接进行取代的工作。
g: 是全局的意思。其中#是格式符，他也可以是@或者别的/。
Sed替换格式是：sed -i ‘s/要替换的内容/替换成的内容/g' 文件名。
四、awk报告生成器，格式化文本输出,有多种版本：New awk（nawk），GNU awk（ gawk）
awk [options] 'program' file… program:pattern{action statements;..} pattern部分决定动作语句何时触发及触发事件BEGIN,ENDaction statements对数据进行处理，放在{}内指明
print, printf选项：
-F 指明输入时用到的字段分隔符
-v var=value 自定义变量分割符、域和记录
awk执行时，由分隔符分隔的字段（域）标记1,1,2..n称为域标识，n称为域标识，0为所有域。
省略action，则默认执行 print $0 的操作。
变量
FS:输入字段分隔符；OFS：输出字段分隔符；RS：输入记录分隔符；ORS：输出记录分隔符；NF：字段数量；NR:记录号；NFR：各文件分别计数，记录号。FILENAME：当前文件名；ARGC：命令行的参数；ARGV：数组，保存的是命令行所给定的各参数。
注意：以上都是内置变量，在引用时不需要前面加$，每新建一个变量，都需要加个-v,与变量名之间有无空格都可以，变量可以在引用之后再声明，但那一行的输出会输出空行。
printf命令
printf “FORMAT” , item1, item2, ... 不会自动换行，FORMAT中需要分别为后面每个item指定格式符。
操作符
算术操作符：x+y, x-y, x*y, x/y, x^y, x%y-x: 转换为负数
+x: 转换为数值比较操作符：==, !=, >, >=, <, <=模式匹配符：~：左边是否和右边匹配包含 !~：是否不匹配逻辑操作符：与&&，或||，非!函数调用：function_name(argu1, argu2, ...)条件表达式（三目表达式）：selector?if-true-expression:if-false-expressionPATTERN:根据pattern条件，过滤匹配的行，再做处理 如果未指定：空模式，匹配每一行/regular expression/：仅处理能够模式匹配到的行，需要用/ /括起来relational expression: 关系表达式，结果为“真”才会被处理line ranges：行范围 startline,endline：/pat1/,/pat2/不支持直接给出数字格式BEGIN/END模式awk控制语句 { statements;… } 组合语句if(condition) {statements;…}if(condition) {statements;…} else {statements;…}while(conditon) {statments;…}do {statements;…} while(condition)for(expr1;expr2;expr3) {statements;…}breakcontinuedelete array[index]delete arrayexit
awk [-F|-v] '行数筛选{XXX;XXX;printf “”,XXX,XXX}'
举例子：
1、打印文件第一列：
这里的分隔符是冒号 ，然后print打印第一列
2、输出字段1,3,6，以制表符作为分隔符
awk详解：https://www.cnblogs.com/xudong-bupt/p/3721210.html