首页 > 编程笔记

Python正则表达式详解

正则表达式，又称规则表达式（Regular Expression），是使用单个字符串来描述、匹配某个句法规则的字符串，常被用来检索、替换那些符合某个模式（规则）的文本。最初的正则表达式出现于理论计算机科学的自动控制理论和形式化语言理论中。

1950 年，数学家斯蒂芬·科尔·克莱尼利用称之为“正则集合”的数学符号来描述此模型。肯·汤普逊将此符号系统引入编辑器 QED，随后是 UNIX 上的编辑器 ed，并最终引入 grep。自此以后，正则表达式被广泛地应用于各种 UNIX 或类 UNIX 系统的工具中。目前，许多程序设计语言都支持利用正则表达式进行字符串操作。

一个正则表达式通常被称为一个模式（pattern），是用来描述或者匹配一系列匹配某个句法规则的字符串。例如 Polish、Spanish 和 Swedish 这三个字符串，都可以由(Pol|Span|Swed)ish 这个模式来描述。

大部分正则表达式的形式都有如下的结构：

1) 选择

竖线|表示选择，具有最低优先级，例如 center|centre 可以匹配 center 或 centre。

2) 数量限定

字符后的数量限定符用来限定前面这个字符允许出现的个数。最常见的数量限定符包括“+”“？”和“*”（不加数量限定则代表出现一次且仅出现一次）：

3) 匹配

成对的小括号( )用来定义操作符的范围和优先度，例如 gr(a|e)y 等效于 gray|grey,(grand)?father 匹配 father 和 grandfather。

正则表达式中除了上述的几种特殊字符外，还使用了一些特殊的方式表示匹配的模式，常用的特殊字符及含义如表 1 所示。

表 1：正则表达式常用的特殊字符及含义
符号 描述
\
将下一个字符标记为一个特殊字符、一个原义字符(Identity Escape,有 "^"  "$"  "("   ")"  "*"  "+"  "{"  "|" 共计12个)、一个向后引用(backreferences)或一个八进制转义符。例如“n”匹配字符“n”，“\n”匹配一个换行符，“\\”匹配“\”，“\(”则匹配“(”
^ 匹配输入字符串的开始位置。如果设置了正则表达式的多行属性，“^”也可以匹配“\n”或“\r”之 后的位置
$ 匹配输入字符串的结束位置。如果设置了正则表达式的多行属性，“$”也可以匹配“\n”或“\r”之 前的位置
* 匹配前面的子表达式零次或多次。例如“zo*”能匹配“z” “zo”以及“zoo”，“*”等效于“{0,}”
+
匹配前面的子表达式一次或多次。例如“zo+”能匹配“zo”以及“zoo”，但不能匹配“z”，“+”等效于"{1,}”
?
匹配前面的子表达式零次或一次。例如“do(es)?”可以匹配 “do”或 “does”中的“do”，“?”等效 于 “{0,1}”
{n} n 是一个非负整数，匹配确定的 n 次。例如“o{2}”不能匹配“Bob”中的“o”，但是能匹配“food” 中的两个 o
{n,} n 是一个非负整数，至少匹配n次。例如“o{2,}”不能匹配“Bob”中的“o”，但能匹配“foooood”中的所有o, 等效于“o+”，“o{0,}”则等效于“o*”
{n,m}
m 和 n 均为非负整数，其中 n＜=m。最少匹配 n 次且最多匹配 m 次。例如“o{1,3}”将匹配“fooooood" 中的前三个“o”，“o{0,l}”等效于“0?”。注意在逗号和两个数之间不能有空格
. 匹配除“\r” “\n”之外的任何单个字符。要匹配包括“\r” “\n”在内的任何字符，请使用“(.|\r|\n)” 的模式
(?:pattem) 匹配模式但不获取匹配的子字符串，也就是说这是一个非获取匹配，不存储匹配的子字符串用于向 后引用。这在使用竖线字符来组合一个模式的各个部分时很有用。例如“industr(?:y|ies)”就是 一个比"industry|industries”更简略的表达式
(?=pattem)
正向肯定断言，在任何匹配 pattern 的字符串开始处匹配查找字符串。这是一个非获取匹配。例如 “Windows(?=95|98|NT|2000)“ 能匹配 “Windows2000” 中的 “Windows”，但不能匹配"Windows3.1 ” 中的“Windows”。断言不消耗字符，即在一个匹配发生后，在最后一次匹配之后立即开始下一次匹配的搜索，而不是从包含断言的字符之后开始
x|y
没有包围在 ( ) 里，其范围是整个正则表达式。例如“z|food”匹配“z”或“food”，“(?:z|f)ood”则匹配 “zood” 或 “food”
[xyz]
字符集合，匹配所包含的任意一个字符。例如“[ab可”可以匹配“plain”中的“a”。特殊字符仅有反斜线“\”保持特殊含义，用于转义字符。其他特殊字符如星号、加号、各种括号等均作为普通字符。脱字符“^”如果出现在首位则表示负值字符集合；如果出现在字符串中间就仅作为普通字符。 连字符“-”如果出现在字符串中间表示字符范围描述；如果出现在首位(或末尾)则仅作为普通字符。右方括号应转义出现，也可以作为首位字符出现
[a-z]
字符范围，匹配指定范围内的任意字符。例如“[a-z]”可以匹配“a”到“z”范围内的任意小写字母字符
\b 匹配一个单词边界，也就是指单词和空格间的位置。例如“er\b”可以匹配“never”中的“er”，但不匹配“verb”中的“er”
\B 匹配非单词边界。例如“er\B”能匹配“verb”中的“er”，但不能匹配“never”中的“er”
\cx 匹配控制字符。x 必须为 A(a) 到 Z(z)。否则，将 c 视为一个原义的“c”字符。控制字符的值等于 x 的值，但最低为 5 比特(即对 3210 进制的余数)。例如“\cM”匹配一个“Control-M”或回车符。“\ca” 等效于 “\u0001”，“\cb” 等效于 “\u0002”
\d 匹配一个数字字符，等效于"[0-9]”。注意 Unicode 正则表达式会匹配全角数字字符
\D 匹配一个非数字字符，等效于“[^0-9]”
\f
匹配一个换页符，等效于“\x0c 和 \cL”
\n 匹配一个换行符，等效于“\x0a 和 \cJ”
\r
匹配一个回车符，等效于“\x0d 和 \cM”
\s 匹配任何空白字符，包括空格、制表符、换页符等，等效于“[\f\n\r\t\v]”。注意 Unicode 正则表达式 会匹配全角空格符
\S 匹配任何非空白字符，等效于“[^\f\n\r\t\v]”
\t 匹配一个制表符，等效于“\x09 和 \c1”
\v 匹配一个垂直制表符，等效于“\x0b 和 \cK”
\w 匹配包括下画线的任何单词字符，等效于"[A-Za-z0-9_]”。注意 Unicode 正则表达式会匹配中文字符
\W 匹配任何非单词字符，等效于“[^A-Za-z0-9_]”
\n 标识一个八进制数转义值或一个向后引用。如果“\n”之前至少 n 个获取的子表达式，则 n 为向后引 用。否则，如果 n 为八进制数字“(0-7)”，则 n 为一个八进制数转义值

表 1 中这些特殊字符的优先级如表 2 所示。

表 2：正则表达式特殊字符的优先级
优先级 符号
最高 “\”
高 “()” “(?:)” “(?=)” “[]”
中 “*”“+” “?”“{n}” “{n,}” “{n,m}”
低 “^” “$” “中介字符”
次最低 串接，即相邻字符连接在一起
最低 “|”

在Python中可以通过 re 模块使用正则表达式，例如：

import re
str = '<span>abcd</span><span>abcdef</span> '
pattern ='<span>.*</span>'
p = re.compile(pattern)
match = re.search(p, str)
print(match.group(0))

上述代码的运行结果如下所示：

>>> import re
>>> str = '<span>abcd</span><span>abcdef</span> '
>>> pattern ='<span>.*</span>'
>>> p = re.compile(pattern)
>>> match = re.search(p, str)
>>> print(match.group(0))
<span>abcd</span><span>abcdef</span>


在正则表达式中使用“*”匹配字符串默认是匹配到串的结尾，即所谓的“贪婪模式”。如果只想匹配到第一个符合条件的子字符串就停止，需要切换为“非贪婪模式”，方法是在“*”之后使用“？”，例如：

import re
str = '<span>abcd</span><span>abcdef</span> '
pattern ='<span>.*?</span>'
p = re.compile(pattern)
match = re.search(p, str)
print(match.group(0))

上述代码的运行结果如下所示：

>>> import re
>>> str = '<span>abcd</span><span>abcdef</span> '
>>> pattern ='<span>.*?</span>'
>>> p = re.compile(pattern)
>>> match = re.search(p, str)
>>> print(match.group(0))
<span>abcd</span>


可见，“贪婪模式”在整个表达式匹配成功的前提下，尽可能多地匹配；而“非贪婪模式”在整个表达式匹配成功的前提下，尽可能少地匹配。“贪婪模式”与“非贪婪模式”影响的是被量词修饰的子表达式的匹配行为。

Python中正则表达式常用的方法如表 3 所示。

表 3：正则表达式常用的方法
方法 描述
compile() 编译正则表达式模式，返回一个对象的模式
match() 决定正则表达式对象是否在字符串最开始的位置匹配。注意：该方法不是完全匹配。当模式结束时若 原字符串还有剩余字符，仍然视为成功。想要完全匹配，可以在表达式末尾加上边界匹配符“$”
search() 在字符串内查找模式匹配，只要找到第一个匹配然后返回，如果字符串没有匹配，则返回“None”
findall() 遍历匹配，可以获取字符串中所有匹配的字符串，返回一个列表
finditer() 返回一个顺序访问每一个匹配结果的迭代器，该方法将找到匹配正则表达式的所有子串
split() 按照能够匹配的子串将原字符串分割后返回列表
sub() 替换原字符串中每一个匹配的子串后返回替换后的字符串
subn() 返回“sub()”方法执行后的替换次数
flags() 正则表达式编译时设置的标志
pattem() 正则表达式编译时使用的字符串

推荐阅读