首页 > 编程笔记
grep命令_Linux grep命令:文本搜索工具(可使用正则表达式)
Linux 系统中有很多很有名的搜索类命令,例如 find 命令、locate 命令、sed 命令,但还有三位兄弟是不得不提的,它们在搜索界的地位举足轻重,那就是 grep、egrep、fgrep 三兄弟。
为什么称它们为搜索三兄弟呢?大家看看下面的家谱就一目了然了。
从上面的关系图可以看出,egrep 和 fgrep 都可以通过 grep 加上不同选项来实现,真是“打断胳膊连着筋”,血脉相亲的一家人啊。它们三兄弟,各有特点,如表 1 所示。
注意上面的
我们使用
来看看包含 leo 的行位于文件的第几行。
大家注意观察输出内容的开头部分,leo 前的内容表示的就是行位置信息,原来是在第 29 行呀!
另外一些时候,我们希望 grep 不要输出搜索到的行的内容,而是简单地告诉我们到底搜索到了多少行就好了,试试
我们来看看 grep 是如何做到的。
上面示例中的
上面示例中的
上面示例中使用了
看到了吧,即便我们把要搜索的字符串指定为全部大写的 LEO,仍然可以顺利地搜索到全部小写的 leo。
我们的搜索需求是,找出内容中含有first单词的文件都有哪些。我们希望得到的是一个文件列表。
原来只有 1.txt 文件中包含有 first 单词。如果我想找出不含 first 单词的文件都有哪些,该如何操作呢?
我们希望搜索/etc/passwd文件中开头是 leo 的行:
看到了吧,我们使用“^leo”表达了“开头是 leo 的行”,而 grep 也心领神会,帮我们找到了所求。
那如果我们希望搜索 /etc/passwd 文件中行尾是 bash 的行呢?
但是,你会发现,这样的搜索结果有一个问题,那就是连 sbin 这样的词也会被搜索出来,而我们并不想看到这样的结果。这个问题,算是一个比较难的问题了,需要我们了解“词”的定义,以及知道正则表达式中如何表示一个“词”。
首先,正则表达式中的“词(word)”,一般是由字母、数字和下划线所组成的,且词与词之间通常使用空格、制表符或换行符分隔。举个例子,“I love you.”中的“love”就是一个“词”,但“My gloves are red.”中的“love”就不能称作一个“词”。
在正则表达式中,我们通常用尖括号表示一个“词”,比如能够匹配“I love you.”,但不能匹配“My gloves are red.”。
下面我们通过示例学习这个知识点:
我们通过使用
其实,上面的方法还是有些复杂了,grep 中还有一个更加简单的方法来实现对“词”的搜索:
我们通过 egrep 命令实现了两个条件的搜索,其中“|”符号表示“或”,连接了两个搜索条件。
同样的搜索需求,grep 就没有办法满足(除非使用-E选项):
这就是 grep 和 egrep的区别了,grep 的正则表达式是基本正则表达式,而 egrep 的正则表达式是扩展正则表达式,这两种表达式是有区别的,下面我们就一起来看看它们的区别。
两者的区别,更多的是元字符的区别。
在基本正则表达式(BRE)中,只承认“^”、“$”、“.”、“[”、“]”、“*”这些是元字符,所有其他的字符都被识别为普通字符。
而在扩展正则表达式(ERE)中,则在BRE的基础上增加了“(”、“)”、“{”、“}”、“?”和“+”、“|”等元字符。
最后要特别说明的一点,只有在用反斜杠进行转义的情况下,字符“(”、“)”、“{”和“}”才会在扩展正则表达式(ERE)中被当作元字符处理,而在基本正则表达式(ERE)中,任何元字符前面加上反斜杠反而会使其被当作普通字符来处理。这样的设计,有些奇葩,同学们一定要记清楚哦。
当我们搜索时,假如搜索字符串中包含了不少特殊字符,而这些特殊字符恰好又是正则表达式预留的字符,比如说“^”、“$”等,这时,我们就可以使用 fgrep 来避免烦琐的转义了,因为我们心里知道,在 fgrep 的眼里,没有特殊字符,都是普通字符。我们来看下面的示例。
好了,洋洋洒洒的一篇 grep 三兄弟就介绍到这里了,要和三兄弟道别了,以后遇到搜索字符串的场景,可不要忘了它们三位哦!
为什么称它们为搜索三兄弟呢?大家看看下面的家谱就一目了然了。
grep
/ \
(选项) (-E) (-F)
/ \
egrep fgrep
/ \
(选项) (-E) (-F)
/ \
egrep fgrep
从上面的关系图可以看出,egrep 和 fgrep 都可以通过 grep 加上不同选项来实现,真是“打断胳膊连着筋”,血脉相亲的一家人啊。它们三兄弟,各有特点,如表 1 所示。
命 令 | 是否支持正则 | 支持的正则类型 |
---|---|---|
grep | √ | 基本正则表达式 |
egrep | √ | 扩展正则表达式 |
fgrep | × |
grep 入门招式
grep 是能力最全面的,下面我们就先来学习 grep,围绕 /etc/passwd 文件来讲解 grep 的作用。[root@roclinux ~]# cat /etc/passwd root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin (中间省略数十行) apache:x:48:48:Apache:/var/www:/sbin/nologin test:x:502:502::/home/test:/bin/bash leo:x:503:503::/home/leo:/bin/bash roc:x:504:504::/home/roc:/bin/bash 尝试搜索包含leo字符串的行: [root@roclinux ~]# grep --color "leo" /etc/passwd leo:x:503:503::/home/leo:/bin/bash
注意上面的
--color
选项,它的作用是高亮我们查找的字符串,这里,leo 字符串变成了红色字体。
grep 的反查技能
下面来搜索不包含 leo 字符串的行。# 使用-v选项 [root@roclinux ~]# grep -v "leo" /etc/passwd root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin (中间省略数十行) apache:x:48:48:Apache:/var/www:/sbin/nologin test:x:502:502::/home/test:/bin/bash roc:x:504:504::/home/roc:/bin/bash
我们使用
-v
选项实现了反查效果,可以看到,含有 leo 的行都没有展示出来。
grep 展示行号和统计行数
有时,我们希望 grep 不仅能搜索到字符串,还能展示出它们位于文件的第几行,这时我们可以使用-n
选项来实现这个效果。来看看包含 leo 的行位于文件的第几行。
# 使用选项 n [root@roclinux ~]# grep -n leo /etc/passwd 29:leo:x:503:503::/home/leo:/bin/bash
大家注意观察输出内容的开头部分,leo 前的内容表示的就是行位置信息,原来是在第 29 行呀!
另外一些时候,我们希望 grep 不要输出搜索到的行的内容,而是简单地告诉我们到底搜索到了多少行就好了,试试
-c
选项吧。
# 使用-c选项 [root@roclinux ~]# grep -c leo /etc/passwd 1输出很简单,这表示含有 leo 的行只有 1 行。
grep 能环顾四周
我想搜索包含 leo 的行,但 grep 在输出时,最好能把 leo 所在行的上面或下面相邻的行也都展示出来。我们来看看 grep 是如何做到的。
[root@roclinux ~]# grep -A 1 leo passwd leo:x:503:503::/home/leo:/bin/bash roc:x:504:504::/home/roc:/bin/bash
上面示例中的
-A
选项,是 After 的缩写,表示除了展示匹配行之外,还要展示出匹配行下面的若干行。而示例中的 -A 1 则表示还展示匹配行下面一行的内容。
[root@roclinux ~]# grep -B 1 leo passwd test:x:502:502::/home/test:/bin/bash leo:x:503:503::/home/leo:/bin/bash
上面示例中的
-B
选项,是 Before 的缩写,表示除了展示匹配行之外,还要展示出匹配行上面的若干行。而示例中的 -B 1 则表示还展示匹配行上面一行的内容。
[root@roclinux ~]# grep -C 1 leo passwd test:x:502:502::/home/test:/bin/bash leo:x:503:503::/home/leo:/bin/bash roc:x:504:504::/home/roc:/bin/bash
上面示例中使用了
-C
选项,它是-A
和-B
选项的合体,表示除了展示匹配行之外,还要展示出匹配行上面和下面各若干行。而示例中的 -C 1 则表示还展示匹配行上面一行和下面一行的内容。
让 grep 不要区分大小写
在搜索过程中,我们有时候希望不要区分字母的大小写,这样做可以提高搜索命中的概率,而-i选项则可以帮我们这个忙。[root@roclinux ~]# grep -i "LEO" passwd leo:x:503:503::/home/leo:/bin/bash
看到了吧,即便我们把要搜索的字符串指定为全部大写的 LEO,仍然可以顺利地搜索到全部小写的 leo。
grep 处理多文件
grep 命令可以一次搜索很多个文件,最常使用的一个场景就是:从大量的文件中找出含有特定字符的文件。下面我们来试验一下。# 当前目录下有三个文件 [roc@roclinux ~]$ ll total 12 -rw-rw-r-- 1 roc roc 58 Mar 15 17:47 1.txt -rw-rw-r-- 1 roc roc 59 Mar 15 17:51 2.txt -rw-rw-r-- 1 roc roc 58 Mar 15 17:52 3.txt # 1.txt文件的内容如下 [roc@roclinux ~]$ cat 1.txt this first file this file contain some import infomation. # 2.txt文件的内容如下 [roc@roclinux ~]$ cat 2.txt this second file this file contain some import infomation. # 3.txt文件的内容如下 [roc@roclinux ~]$ cat 3.txt this third file this file contain some import infomation.
我们的搜索需求是,找出内容中含有first单词的文件都有哪些。我们希望得到的是一个文件列表。
# 使用-l选项 [roc@roclinux ~]$ grep -l "first" *.txt 1.txt
原来只有 1.txt 文件中包含有 first 单词。如果我想找出不含 first 单词的文件都有哪些,该如何操作呢?
[roc@roclinux ~]$ grep -L "first" *.txt 2.txt 3.txt反向操作就要用反向选项,只需把 -l 变成 -L 即可。
grep 也正则
上面讲解的内容,更多的是以普通字符串作为搜索对象的,接下来的内容里,我们会更多地设置一些复杂的搜索需求,让大家体会到正则的好处与威力。我们希望搜索/etc/passwd文件中开头是 leo 的行:
# ^表示行首 [root@roclinux ~]# grep '^leo' /etc/passwd leo:x:503:503::/home/leo:/bin/bash
看到了吧,我们使用“^leo”表达了“开头是 leo 的行”,而 grep 也心领神会,帮我们找到了所求。
那如果我们希望搜索 /etc/passwd 文件中行尾是 bash 的行呢?
# $ 表示行尾 [root@roclinux ~]# grep 'bash$' /etc/passwd root:x:0:0:root:/root:/bin/bash cloud-user:x:500:500::/home/cloud-user:/bin/bash test:x:502:502::/home/test:/bin/bash leo:x:503:503::/home/leo:/bin/bash roc:x:504:504::/home/roc:/bin/bash使用“bash$”即可,你会发现正则表达式其实并不难。
有关“词”的知识
我们希望搜索含有 bin 这个词的行,按照原来我们学到的知识,一定会这样来搜索:[root@roclinux ~]# grep bin /etc/passwd root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin (此处省略数十行) apache:x:48:48:Apache:/var/www:/sbin/nologin test:x:502:502::/home/test:/bin/bash leo:x:503:503::/home/leo:/bin/bash roc:x:504:504::/home/roc:/bin/bash
但是,你会发现,这样的搜索结果有一个问题,那就是连 sbin 这样的词也会被搜索出来,而我们并不想看到这样的结果。这个问题,算是一个比较难的问题了,需要我们了解“词”的定义,以及知道正则表达式中如何表示一个“词”。
首先,正则表达式中的“词(word)”,一般是由字母、数字和下划线所组成的,且词与词之间通常使用空格、制表符或换行符分隔。举个例子,“I love you.”中的“love”就是一个“词”,但“My gloves are red.”中的“love”就不能称作一个“词”。
在正则表达式中,我们通常用尖括号表示一个“词”,比如能够匹配“I love you.”,但不能匹配“My gloves are red.”。
下面我们通过示例学习这个知识点:
#我们尝试匹配bin这个“词” [root@roclinux ~]# grep '\<bin\>' /etc/passwd --color root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin sync:x:5:0:sync:/sbin:/bin/sync cloud-user:x:500:500::/home/cloud-user:/bin/bash test:x:502:502::/home/test:/bin/bash leo:x:503:503::/home/leo:/bin/bash roc:x:504:504::/home/roc:/bin/bash
我们通过使用
\<
和\>
来准确匹配到了 bin 这个词,而 sbin 却被挡在了门外。其实,上面的方法还是有些复杂了,grep 中还有一个更加简单的方法来实现对“词”的搜索:
# 使用-w选项来搜索一个词 [root@roclinux ~]# grep -w 'bin' /etc/passwd root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin sync:x:5:0:sync:/sbin:/bin/sync cloud-user:x:500:500::/home/cloud-user:/bin/bash test:x:502:502::/home/test:/bin/bash leo:x:503:503::/home/leo:/bin/bash roc:x:504:504::/home/roc:/bin/bash
grep 的多条件查找
如果我想查找以 root 为行首的或以 bash 为行尾的行,那应该怎么查找呢?这时就要有请我们的二师兄 egrep 来帮忙了。[root@roclinux ~]# egrep '^root|bash$' passwd root:x:0:0:root:/root:/bin/bash cloud-user:x:500:500::/home/cloud-user:/bin/bash test:x:502:502::/home/test:/bin/bash leo:x:503:503::/home/leo:/bin/bash roc:x:504:504::/home/roc:/bin/bash
我们通过 egrep 命令实现了两个条件的搜索,其中“|”符号表示“或”,连接了两个搜索条件。
同样的搜索需求,grep 就没有办法满足(除非使用-E选项):
[root@roclinux ~]# grep '^root|bash$' passwd
这就是 grep 和 egrep的区别了,grep 的正则表达式是基本正则表达式,而 egrep 的正则表达式是扩展正则表达式,这两种表达式是有区别的,下面我们就一起来看看它们的区别。
基本正则表达式和扩展正则表达式
世界上的正则表达式种类繁多且复杂,面对这样的状况,POSIX 将正则表达式进行了标准化,并把实现方法分为了两大类:- 基本正则表达式(BRE)
- 扩展正则表达式(ERE)
两者的区别,更多的是元字符的区别。
在基本正则表达式(BRE)中,只承认“^”、“$”、“.”、“[”、“]”、“*”这些是元字符,所有其他的字符都被识别为普通字符。
而在扩展正则表达式(ERE)中,则在BRE的基础上增加了“(”、“)”、“{”、“}”、“?”和“+”、“|”等元字符。
最后要特别说明的一点,只有在用反斜杠进行转义的情况下,字符“(”、“)”、“{”和“}”才会在扩展正则表达式(ERE)中被当作元字符处理,而在基本正则表达式(ERE)中,任何元字符前面加上反斜杠反而会使其被当作普通字符来处理。这样的设计,有些奇葩,同学们一定要记清楚哦。
三师弟 fgrep 最朴素
grep 和 egrep 都支持正则表达式,但 fgrep 却完全不支持正则表达式。#匹配到了好多行 [root@roclinux ~]# grep -c '^root' /etc/passwd 6688 #一行都没有匹配到 [root@roclinux ~]# fgrep -c '^root' /etc/passwd 0这个示例证明了 fgrep 的确不支持正则表达式。那 fgrep 还有用武之地么?答案是肯定的。
当我们搜索时,假如搜索字符串中包含了不少特殊字符,而这些特殊字符恰好又是正则表达式预留的字符,比如说“^”、“$”等,这时,我们就可以使用 fgrep 来避免烦琐的转义了,因为我们心里知道,在 fgrep 的眼里,没有特殊字符,都是普通字符。我们来看下面的示例。
#我们的roc.txt文件中有几个^和$ [roc@roclinux ~]$ cat roc.txt ^this third file ^$this file contain some import infomation. # grep会尝试去找开头为this的行, 但并未找到 [roc@roclinux ~]$ grep '^this' roc.txt # fgrep会老老实实地去找^this字符串, 它找到了 [roc@roclinux ~]$ fgrep '^this' roc.txt ^this third file
好了,洋洋洒洒的一篇 grep 三兄弟就介绍到这里了,要和三兄弟道别了,以后遇到搜索字符串的场景,可不要忘了它们三位哦!