精通正则表达式，看完这篇就行了

来源丨经授权转自 Java技术指北（ID：javanorth）

作者丨指北君

对于正则表达式，不知道你有没这种感觉，总是能按照需求写出来一些，但是不执行一下总觉得不靠谱。今天我们来简单的看看正则表单时

正则表达式

一般你会用正则做什么，大部分都是做一些字符串的检查？下面有几个问题，不妨试着通过正则表达式看你是否能够解决？

1. 校验密码是否包含字母大小写、数字、特殊字符（!@#￥%^&）且长度为6到12位
2. 将数字12345678用货币格式（每3位一个,）最终效果：12,345,678
3. 替换一段文字中的占位字符部分（比如${}包含的内容），类似ES6中的模板语法

定义

正则表达式，又称规则表达式,（Regular Expression，在代码中常简写为regex、regexp或RE），是一种文本模式， 包括普通字符（例如，a 到 z 之间的字母）和特殊字符（称为"元字符"），是计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串，通常被用来检索、替换那些符合某个模式（规则）的文本。

正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。

作用

回顾下上面的3个问题，我们使用正则基本上也就是完成类似的这些工作，从功能上我们可以划分为：

• 匹配 检查目标字符串是否与指定的规则匹配。比如密码强度校验、手机号码校验、URL地址校验等等，一般用来对一段字符串进行格式校验。

• 替换 按规则对字符串内容进行替换。比如将一段文字中的特殊字符替换成空字符串，主要实现对文本按指定规则进行内容的替换

• 截取 找到字符串中特定规则的片段。可以用来提取目标字符串中满足规则的片段

结构

正则表达式由普通字符以及元字符组成。其中普通字符包含0-9、a-z、A-Z以及各种符号；元字符则类似+ ? \d \s 这种具有特殊含义的字符。

字符

• 普通字符

字符	描述
[ABC]	匹配所有[...]内的字符
[^ABC]	匹配所有非[...]内的字符
[A-Z]	匹配A-Z区间的字符
[a-d[m-p]]	匹配a-d或者m-p区间的字符
[a-z&&[^bc]]	匹配a-z区间且不包含b c的字符

• 非打印字符

字符	描述
\cx	匹配由x指明的控制字符。例如， \cM 匹配一个 Control-M 或回车符。x 的值必须为 A-Z 或 a-z 之一。否则，将 c 视为一个原义的 'c' 字符。
\f	匹配一个换页符。等价于 \x0c 和 \cL。
\n	匹配一个换行符。等价于 \x0a 和 \cJ。
\r	匹配一个回车符。等价于 \x0d 和 \cM。
\s	匹配任何空白字符，包括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。注意 Unicode 正则表达式会匹配全角空格符。
\S	匹配任何非空白字符。等价于 [^ \f\n\r\t\v]。
\t	匹配一个制表符。等价于 \x09 和 \cI。
\v	匹配一个垂直制表符。等价于 \x0b 和 \cK。

• 特殊字符

特殊字符串	描述
^	匹配输入字符串的开始位置，除非在方括号表达式中使用，当该符号在方括号表达式中使用时，表示不接受该方括号表达式中的字符集合。要匹配 ^ 字符本身，请使用 ^。
$	匹配输入字符串的结尾位置。如果设置了 RegExp 对象的 Multiline 属性，则  字符本身，请使用 $。
\	将下一个字符标记为或特殊字符、或原义字符、或向后引用、或八进制转义符。例如， 'n' 匹配字符 'n'。'\n' 匹配换行符。序列 '\' 匹配 ""，而 '(' 则匹配 "("。
*	匹配前面的子表达式零次或多次。要匹配 * 字符，请使用 *。
+	匹配前面的子表达式一次或多次。要匹配 + 字符，请使用 +。
.	匹配除换行符 \n 之外的任何单字符。要匹配 . ，请使用 . 。
?	匹配前面的子表达式零次或一次，或指明一个非贪婪限定符。要匹配 ? 字符，请使用 ?。
[	标记一个中括号表达式的开始。要匹配 [，请使用 [。
{	标记限定符表达式的开始。要匹配 {，请使用 {。
|	指明两项之间的一个选择。要匹配 |，请使用 \|。
()	标记一个子表达式的开始和结束位置。子表达式可以获取供以后使用。要匹配这些字符，请使用 ( 和 )。

• 限定符

限定符	描述
*	匹配前面的子表达式零次或多次。例如，zo* 能匹配 "z" 以及 "zoo"。* 等价于 {0,}。
+	匹配前面的子表达式一次或多次。例如，zo+ 能匹配 "zo" 以及 "zoo"，但不能匹配 "z"。+ 等价于 {1,}。
?	匹配前面的子表达式零次或一次。例如，do(es)? 可以匹配 "do" 、 "does"、 "doxy" 中的 "do" 。? 等价于 {0,1}。
{n}	n 是一个非负整数。匹配确定的 n 次。例如，o{2} 不能匹配 "Bob" 中的 o，但是能匹配 "food" 中的两个 o
{n,}	n 是一个非负整数。至少匹配n 次。例如，o{2,} 不能匹配 "Bob" 中的 o，但能匹配 "foooood" 中的所有 o。o{1,} 等价于 o+。o{0,} 则等价于 o*。
{n,m}	m 和 n 均为非负整数，其中 n <= m。最少匹配 n 次且最多匹配 m 次。例如，o{1,3} 将匹配 "fooooood" 中的前三个 o。o{0,1} 等价于 o?。请注意在逗号和两个数之间不能有空格。

• 定位符

字符	描述
^	匹配输入字符串开始的位置
$	匹配输入字符串结尾的位置。
\b	匹配一个单词边界，即字与空格间的位置。
\B	非单词边界匹配。

规则

• 匹配

• 贪婪匹配、惰性匹配

  贪婪匹配与惰性匹配影响的是被量词修饰的子表达式的匹配行为，贪婪模式在整个表达式匹配成功的前提下，尽可能多的匹配，而非贪婪模式在整个表达式匹配成功的前提下，尽可能少的匹配 （惰性模式：限定符后加上?）

  源字符串：...<div>hello <div>Regex</div> !</div>...
  贪婪模式：<div>.*</div> -> <div>hello <div>Regex</div> !</div>
  惰性模式：<div>.*?</div> -> <div>hello <div>Regex</div>

• 回溯

  正则表达式匹配目标字符串时，它从左到右逐个测试表达式的组成部分，看是否能找到匹配项。在遇到量词时，需要决定何时尝试匹配更多字符。在遇到分支时，必须从可选项中选择一个尝试匹配。每当正则做类似的决定时，如果有必要，都会记录其他选择，以便匹配不成功时进行回溯，到最后一个决策点，再重新进行匹配。

我们可以简单的理解为，当正则匹配存在多种情况时，出现失败后的重试机制，直到所有情况都尝试失败才会最终失败。要注意有时这是非常耗费性能的

  正则：ab{1,3}c 源字符串：abc
  第一次匹配：a匹配到a
  第二次匹配：b{1,3}匹配到b
  第三次匹配：b{1,3}匹配到c，因为贪婪模式，尽可能多的匹配，当匹配到b后，会继续，碰到c，匹配失败，回溯最近一次成功的状态
  第四次匹配：b{1,3}匹配到b
  第五次匹配：c匹配到c，批次成功
为了减少回溯造成的性能问题，我们应该尽可能地明确需要匹配的目标字符，避免贪婪模式，比如使用b{1,3}?

• 分组、引用和断言

• 分组：语法()
• 按括号从左到右，从外到内依次为分组编号
• 使用(?<组名>)方式显示分配组名称
• 断言非分组

示例：
  (A)(B(C)) 则会对应多个分组：
  0: (A)(B(C))
  1: (A)
  2: (B(C))
  3: (C)

• 引用：语法\组号
• 通过\组号引用分组，减少重复

  // 引用主要是为了减少输入，但要注意正确引用
  Pattern.compile("(###).*(\\1)").matcher("### this is content ###")

• 断言：
• (?=pattern) 零宽正向先行断言(前瞻)
• (?!pattern) 零宽负向先行断言(否定前瞻)
• (?<=pattern) 零宽正向后行断言(正向后视)
• (?<!pattern) 零宽负向后行断言(否定后视)

第一个问题的解决方案就用到了断言
只判断，不匹配

• 模式

在javascript中，有i、g、m、s分别对应了不区分大小写、全局匹配、多行匹配以及包含换行符的元字符.匹配，而在Pattern中则提供了下面的几种模式：

• UNIX_LINES 换行符统一认定为\n，（window系统默认是\r\n）
• CASE_INSENSITIVE 大小写不敏感，对应i
• COMMENTS 表达式中的空格及#开头的注释内容被忽略
• MULTILINE 多行模式，对应m
• LITERAL 字面值解析模式，元字符作为普通字符处理
• DOTALL .可以匹配任何字符，包括行结束符，对应上面的s
• UNICODE_CASE 配合CASE_INSENSITIVE实现对UNICODE大小写不敏感
• CANON_EQ 启用规范等价，比如"a\u030A"会匹配"?"
• UNICODE_CHARACTER_CLASS 启用Unicode版本的预定义字符类和POSIX字符类，这样类似\w的匹配就不局限于英文字符了

元字符

所谓元字符就是指那些在正则表达式中具有特殊意义的专用字符，可以用来规定其前导字符（即位于元字符前面的字符）在目标对象中的出现模式。下面整理了元字符以及其对应的功能。

字符	描述
\	将下一个字符标记为一个特殊字符、或一个原义字符、或一个 向后引用、或一个八进制转义符。例如，'n' 匹配字符 "n"。'\n' 匹配一个换行符。序列 '\' 匹配 "" 而 "(" 则匹配 "("。
^	匹配输入字符串的开始位置。如果设置了 RegExp 对象的 Multiline 属性，^ 也匹配 '\n' 或 '\r' 之后的位置。
$	匹配输入字符串的结束位置。如果设置了RegExp 对象的 Multiline 属性，$ 也匹配 '\n' 或 '\r' 之前的位置。
*	匹配前面的子表达式零次或多次。例如，zo* 能匹配 "z" 以及 "zoo"。* 等价于{0,}。
+	匹配前面的子表达式一次或多次。例如，'zo+' 能匹配 "zo" 以及 "zoo"，但不能匹配 "z"。+ 等价于 {1,}。
?	匹配前面的子表达式零次或一次。例如，"do(es)?" 可以匹配 "do" 或 "does" 中的"do" 。? 等价于 {0,1}。
{n}	n 是一个非负整数。匹配确定的 n 次。例如，'o{2}' 不能匹配 "Bob" 中的 'o'，但是能匹配 "food" 中的两个 o。
{n,}	n 是一个非负整数。至少匹配n 次。例如，'o{2,}' 不能匹配 "Bob" 中的 'o'，但能匹配 "foooood" 中的所有 o。'o{1,}' 等价于 'o+'。'o{0,}' 则等价于 'o*'。
{n,m}	m 和 n 均为非负整数，其中n <= m。最少匹配 n 次且最多匹配 m 次。例如，"o{1,3}" 将匹配 "fooooood" 中的前三个 o。'o{0,1}' 等价于 'o?'。请注意在逗号和两个数之间不能有空格。
?	当该字符紧跟在任何一个其他限制符 (*, +, ?, {n}, {n,}, {n,m}) 后面时，匹配模式是非贪婪的。非贪婪模式尽可能少的匹配所搜索的字符串，而默认的贪婪模式则尽可能多的匹配所搜索的字符串。例如，对于字符串 "oooo"，'o+?' 将匹配单个 "o"，而 'o+' 将匹配所有 'o'。
.	匹配除 "\n" 之外的任何单个字符。要匹配包括 '\n' 在内的任何字符，请使用象 '[.\n]' 的模式。
(pattern)	匹配 pattern 并获取这一匹配。所获取的匹配可以从产生的 Matches 集合得到，在VBScript 中使用 SubMatches 集合，在JScript 中则使用 9 属性。要匹配圆括号字符，请使用 '(' 或 ')'。
(?:pattern)	匹配 pattern 但不获取匹配结果，也就是说这是一个非获取匹配，不进行存储供以后使用。这在使用 "或" 字符 (|) 来组合一个模式的各个部分是很有用。例如， 'industr(?:y|yes) 就是一个比 'industry|industries' 更简略的表达式。
(?=pattern)	正向预查，在任何匹配 pattern 的字符串开始处匹配查找字符串。这是一个非获取匹配，也就是说，该匹配不需要获取供以后使用。例如，'Windows (?=95|98|NT|2000)' 能匹配 "Windows 2000" 中的 "Windows" ，但不能匹配 "Windows 3.1" 中的 "Windows"。预查不消耗字符，也就是说，在一个匹配发生后，在最后一次匹配之后立即开始下一次匹配的搜索，而不是从包含预查的字符之后开始。
(?!pattern)	负向预查，在任何不匹配 pattern 的字符串开始处匹配查找字符串。这是一个非获取匹配，也就是说，该匹配不需要获取供以后使用。例如'Windows (?!95|98|NT|2000)' 能匹配 "Windows 3.1" 中的 "Windows"，但不能匹配 "Windows 2000" 中的 "Windows"。预查不消耗字符，也就是说，在一个匹配发生后，在最后一次匹配之后立即开始下一次匹配的搜索，而不是从包含预查的字符之后开始。
x|y	匹配 x 或 y。例如，'z|food' 能匹配 "z" 或 "food"。'(z|f)ood' 则匹配 "zood" 或 "food"。
[xyz]	字符集合。匹配所包含的任意一个字符。例如， '[abc]' 可以匹配 "plain" 中的 'a'。
[^xyz]	负值字符集合。匹配未包含的任意字符。例如， '[^abc]' 可以匹配 "plain" 中的'p'。
[a-z]	字符范围。匹配指定范围内的任意字符。例如，'[a-z]' 可以匹配 'a' 到 'z' 范围内的任意小写字母字符。
[^a-z]	负值字符范围。匹配任何不在指定范围内的任意字符。例如，'[^a-z]' 可以匹配任何不在 'a' 到 'z' 范围内的任意字符。
\b	匹配一个单词边界，也就是指单词和空格间的位置。例如， 'er\b' 可以匹配"never" 中的 'er'，但不能匹配 "verb" 中的 'er'。
\B	匹配非单词边界。'er\B' 能匹配 "verb" 中的 'er'，但不能匹配 "never" 中的 'er'。
\cx	匹配由 x 指明的控制字符。例如， \cM 匹配一个 Control-M 或回车符。x 的值必须为 A-Z 或 a-z 之一。否则，将 c 视为一个原义的 'c' 字符。
\d	匹配一个数字字符。等价于 [0-9]。
\D	匹配一个非数字字符。等价于 [^0-9]。
\f	匹配一个换页符。等价于 \x0c 和 \cL。
\n	匹配一个换行符。等价于 \x0a 和 \cJ。
\r	匹配一个回车符。等价于 \x0d 和 \cM。
\s	匹配任何空白字符，包括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。
\S	匹配任何非空白字符。等价于 [^ \f\n\r\t\v]。
\t	匹配一个制表符。等价于 \x09 和 \cI。
\v	匹配一个垂直制表符。等价于 \x0b 和 \cK。
\w	匹配包括下划线的任何单词字符。等价于'[A-Za-z0-9_]'。
\W	匹配任何非单词字符。等价于 '[^A-Za-z0-9_]'。
\xn	匹配 n，其中 n 为十六进制转义值。十六进制转义值必须为确定的两个数字长。例如，'\x41' 匹配 "A"。'\x041' 则等价于 '\x04' & "1"。正则表达式中可以使用 ASCII 编码。
\num	匹配 num，其中 num 是一个正整数。对所获取的匹配的引用。例如，'(.)\1' 匹配两个连续的相同字符。
\n	标识一个八进制转义值或一个向后引用。如果 \n 之前至少 n 个获取的子表达式，则 n 为向后引用。否则，如果 n 为八进制数字 (0-7)，则 n 为一个八进制转义值。
\nm	标识一个八进制转义值或一个向后引用。如果 \nm 之前至少有 nm 个获得子表达式，则 nm 为向后引用。如果 \nm 之前至少有 n 个获取，则 n 为一个后跟文字 m 的向后引用。如果前面的条件都不满足，若 n 和 m 均为八进制数字 (0-7)，则 \nm 将匹配八进制转义值 nm。
\nml	如果 n 为八进制数字 (0-3)，且 m 和 l 均为八进制数字 (0-7)，则匹配八进制转义值 nml。
\un	匹配 n，其中 n 是一个用四个十六进制数字表示的 Unicode 字符。例如， \u00A9 匹配版权符号 (?)。

示例

下面来看下上面3个问题通过正则具体如何解决吧...

1. 问题1，主要使用了断言来实现，当然你也可以拆分成多个正则进行匹配来达到相同的效果

    @Test
    public void checkPassword(){
        String password = "aaa123@Z";
        Pattern compile = Pattern.compile("(?=.*\\d+)(?=.*[a-z]+)(?=.*[A-Z]+)(?=.*[!@#$%^&]+)[a-zA-Z\\d!@#$%^&]{6,12}");
        log.info(">>> {}", compile.matcher(password).matches());
    }

1. 问题2，同样借助了断言，实现字符串的查找，最终实现替换，当然我们替换的不是字符，而是匹配的位置

    @Test
    public void scientific(){
        String number = "123456789";
        String result = number.replaceAll("(?=\\B(\\d{3})+$)", ",");
        log.info(">> {}", result);
    }

1. 问题3，通过分组实现字符串片段的查找，通过变量上下文重新组件字符串

    @Test
    public void replaceHolder(){
        Map<String,String> context = new HashMap<>();
        context.put("company","north");
        context.put("project","blob");
        context.put("model","regex");

        String packages = "com.{company}.{project}.{model}.*";

        Pattern pattern = Pattern.compile("(\\{[^}]*\\})");
        Matcher matcher = pattern.matcher(packages);

        StringBuffer result = new StringBuffer();
        while (matcher.find()){
            String group = matcher.group();
            String key = group.substring(1, group.length()-1);
            matcher.appendReplacement(result, context.getOrDefault(key,"") );
        }
        matcher.appendTail(result);
        log.info( result.toString() );
    }

工具库

https://www.runoob.com/regexp/regexp-operator.html

扩展知识

NFA引擎 DFA引擎

结束语

正则表达式是一种书写简单，功能强大且常用的技术，基本所有的编程语言都有其相关的实现与支持。因此深入了解正则实现原理与书写规范非常重要。

该篇主要通过简单的几个示例介绍了正则表达式的功能以及一些基本结构与功能，希望能够抛砖引玉，让你对正则表达式有更深的认识。

点分享

点点赞

点在看