java正则表达式彻底研究

/**
*

Title:正则表达式的研究

Description:
*最近在工作中常常用到一些正则表达式的使用问题，到网上去找介绍大多是一鳞半爪。求人不如
*求已。一狠心，自己看!这两天利用我们项目两期之间的一点空闲对J2SE所支持的正则表达式来
*了个彻底研究!代价是……就是浪废了部门近十二张白纸。闲话少说，书归正传。
*原理：
*正则表达式的原理是有限状态自动机，自动机内部有有限个状态，有一个初始状态，有一个
*结束状态。自动机根据输入和自身内部的当前状态来决定下一步于什么。呵呵，这是很久以前学
*的东东了也记不清了，大家只作参照吧。
*Java中的正则表达式：
*从J2SE1.4起Java增加了对正则表达式的支持就是java.util.regex包，这个包中主要有
*3个类:Pattern,代表模式，就是正则表达式自身，Matcher，是一个有限状态自动机，其实大多
*数的活还是让Pattern类于了，Matcher往往只是简单的调用Pattern，不知道这是什么模式。这
*两个类写的都很经典，还有不少算法在内值得有功力的人仔细研究一下。另一个是一个异常类当所
*用正则表达式不正确时抛出，是运行时异常。
*几个难点：
*1.lineterminator
*lineterminator中文意终结符，是指一个或两个字符组成的字符序列。java中的
*所有lineterminator:
*Anewline(linefeed)character('n'),
*-----------换行符(0A)
*Acarriage-returncharacterfollowedimmediatelybyanewlinecharacter("rn"),
*-----------回车+换行(0D0A)
*Astandalonecarriage-returncharacter('r'),
*-----------回车(0D)
*Anext-linecharacter('u0085'),
*------------下一行符？(？表示我也不知道是什么，请大家明白的给我发mail
*Aline-separatorcharacter('u2028'),or
*------------行分隔符？
*Aparagraph-separatorcharacter('u2029).
*------------段落分隔符？
*IfUNIX_LINESmodeisactivated,thentheonlylineterminatorsrecognizedarenewlinecharacters.
*如果使用unix模式则只有n被认为是lineterminator，也就是在使用pattern时如下：
*Patternp=Pattern.compile("正则表达式",Pattern.UNIX_LINE);
*或Patternp=Pattern.compile("(?d)正则表达式")
*"."匹配除lineterminator以外的所有字符(未指定DOTALL时)
*在指定DOTAll模式时"."匹配所有字符
*2.Quantifiers,Greedy,ReluctantandPossessive.
*这几个词不太好译，原文是GreedyQuantifiers,ReluctantQuantifiersandPossessive
*Quantifiers凭我这点英语我只好译作贪婪的量子，不情愿的量子和占有欲强的量子？这也太搞笑了，
*好在我理解了他们的意思。这点等下我细说。
*3.对于[a-zA-Z],[a-d[h-i]],[^a-f],[b-f&&[a-z]],[b-f&&[^cd]]等形式的理解
*对于上述，原文用range,union,negation,intersection,subtraction等来描述
*range表是范围，union是并集，negation是取反，intersection是交集，subtraction
*是……是减法？？反正是减去一部分的意思
*rangea-z从a到z的小写字母
*negation[^a-f]除了a-f之外所有的，全集是所有字符
*union[a-d[h-i]]a-d并h-i
*subtraction[b-f&&[^cd]]就是b-f中除了cd以外的都是
*intersection[b-f&&[a-z]]就是b-f与a-z中的公共部分
*我总结了一下，其实就是方括号表示一个集合，集合中的元素用列举法表示如[abcd]，但太多
*了怎么为？总不能把从a到z的全列举吧？那就用a-z表示且省略了方括号，交集用&&表示，并集
*省略，差集(对subtraction译成差集还差不多)用交集和取反来表示。所以，以上的可表示为：
*[[a-z][A-Z]],[[a-d][h-i]],[^a-f],[[b-f]&&[a-z]],[[b-f]&&[^cd]]
*这样是不是和我们的习惯相符了.
*4.各个标志的意义
*在生成pattern时可以同时使用几个标志来指定进行匹配时的方案。
*用法形如：Patternp=Pattern.compile(".*a?",Pattern.UNIX_LINES);
*当同时指定多个标志时可以使用"|"操作符连接如：
*Patternp=Pattern.compile(".*a?,Pattern.UNIX_LINES|Pattern.DOTALL);
*也可以在表达式中指定如：
*Patternp=Pattern.compile("(?d).*a?");
*Patternp=Pattern.compile("(?d)(?s).*a?");
*以上两个定义和前面两个对应等价
*所有的标志如下：
*ConstantEquivalentEmbeddedFlagExpression
Pattern.CANON_EQNoneEnablescanonicalequivalence
Pattern.CASE_INSENSITIVE(?i)Enablescase-insensitivematching
Pattern.COMMENTS(?x)Permitswhitespaceandcommentsinpattern.
Pattern.MULTILINE(?m)Enablesmultilinemode.
Pattern.DOATALL(?s)Enablesdotallmode
Pattern.UNICODE_CASE(?u)EnablesUnicode-awarecasefolding.
Pattern.UNIX_LINES(?d)EnablesUnixlinesmode

CANON_EQ指定使用规范等价模式？这个我理解的也有限，是不是说只要指定了这个模式则
ascii码的'a'就可以和unicode的'a'还有XXX码的'a'相等？请教各位。(mailtome)

CASE_INSENSITIVE指定使用大小写不敏感的匹配模式，这个好理解，但要注意这个标志只是
对ascii码有效，要使unicode在比较时也忽略大小写要同时指定UNICODE_CASE,就是要指定
CASE_INSENSITIVE|UNICODE_CASE或使用(?i)(?u)

COMMENTS指定使用注释和忽略空白，也就是".*a"==".*a#thisiscomments"我想这个
*在正则表达式很大，而且是在文件中输入时比较有用，平时我看也用不上。
*
*MULTILINEInmultilinemodetheexpressions^and$matchjustafter
*orjustbefore,respectively,alineterminatorortheendofthe
*inputsequence.Bydefaulttheseexpressionsonlymatchatthebeginning
*andtheendoftheentireinputsequence
*指定使用多行匹配模式，在默认模式下，^和$分别只匹配一个输入的开始和结束。
*在这种模式下，^和$除了匹配整个输入的开始和结束外还匹配一个lineterminator的后边和
*前边(不是前边和后边，就是说^匹配lineterminator的后边$匹配lineterminator的前边。
*
*DOATALL如指定了这个模式则"."可匹配任何字符包括lineterminator
*
*UNIX_LINES指定这个模式时只有n被认为是lineterminator而r和rn都不是
*
*其他的我一时想不起来了，在具体介绍时再说吧。
*

publicstaticvoidmain(String[]args)
{
Stringstr1="";
Objectstr="";
//注意：r,n,b等转义字符在java字符串常量中要写成r,n,b等，否则编译都过不去
//s匹配r,n,r和空格
System.out.println("s匹配r,n,r和空格"+"tnr".matches("s{4}"));
//S和s互逆
System.out.println("S和s互逆"+"/".matches("S"));
//.不匹配r和n
System.out.println(".不匹配r和n"+"r".matches("."));
System.out.println("n".matches("."));

//w匹配字母，数字和下划线
System.out.println("w匹配字母，数字和下划线"+"a8_".matches("www"));
//W和w互逆
System.out.println("W和w互逆"+"&_".matches("Ww"));
//d匹配数字
System.out.println("d匹配数字"+"8".matches("d"));
//D与d互逆
System.out.println("D与d互逆"+"%".matches("D"));
//两者都匹配但意文不同
System.out.println("======================");
System.out.println("表示00a匹配00a"+"n".matches("n"));
System.out.println("表示n匹配换行"+"n".matches("n"));
System.out.println("======================");
//两者都匹配但意文不同
System.out.println("r".matches("r"));
System.out.println("r".matches("r"));
System.out.println("======================");
//^匹配开头
System.out.println("^匹配开头"+"hell".matches("^hell"));
System.out.println("abcnhell".matches("^hell"));
//$匹配结束
System.out.println("$匹配结束"+"mycarnabc".matches(".*ar$"));
System.out.println("mycar".matches(".*ar$"));
//b匹配界
System.out.println("b匹配界"+"bomb".matches("bbom."));
System.out.println("bomb".matches(".*mbb"));
//B与b互逆
System.out.println("B与b互逆"+"abc".matches("Babc"));

//[a-z]匹配a到z的小写字母
System.out.println("[a-z]匹配a到z的小写字母"+"s".matches("[a-z]"));
System.out.println("S".matches("[A-Z]"));
System.out.println("9".matches("[0-9]"));

//取反
System.out.println("取反"+"s".matches("[^a-z]"));
System.out.println("S".matches("[^A-Z]"));
System.out.println("9".matches("[^0-9]"));

//括号的作用
System.out.println("括号的作用"+"aB9".matches("[a-z][A-Z][0-9]"));
System.out.println("aB9bC6".matches("([a-z][A-Z][0-9])+"));
//或运算
System.out.println("或运算"+"two".matches("two|to|2"));
System.out.println("to".matches("two|to|2"));
System.out.println("2".matches("two|to|2"));

//[a-zA-z]==[a-z]|[A-Z]
System.out.println("[a-zA-z]==[a-z]|[A-Z]"+"a".matches("[a-zA-Z]"));
System.out.println("A".matches("[a-zA-Z]"));
System.out.println("a".matches("[a-z]|[A-Z]"));
System.out.println("A".matches("[a-z]|[A-Z]"));

//体会一下以下四个
System.out.println("体会一下以下四个n==========================");
System.out.println(")".matches("[a-zA-Z)]"));
System.out.println(")".matches("[a-zA-Z)_-]"));
System.out.println("_".matches("[a-zA-Z)_-]"));
System.out.println("-".matches("[a-zA-Z)_-]"));
System.out.println("==========================");
System.out.println("b".matches("[abc]"));
//[a-d[f-h]]==[a-df-h]
System.out.println("[a-d[f-h]]==[a-df-h]"+"h".matches("[a-d[f-h]]"));
System.out.println("a".matches("[a-z&&[def]]"));
//取交集
System.out.println("取交集"+"a".matches("[a-z&&[def]]"));
System.out.println("b".matches("[[a-z]&&[e]]"));
//取并
System.out.println("取并"+"9".matches("[[a-c][0-9]]"));
//[a-z&&[^bc]]==[ad-z]
System.out.println("[a-z&&[^bc]]==[ad-z]"+"b".matches("[a-z&&[^bc]]"));
System.out.println("d".matches("[a-z&&[^bc]]"));
//[a-z&&[^m-p]]==[a-lq-z]
System.out.println("[a-z&&[^m-p]]==[a-lq-z]"+"d".matches("[a-z&&[^m-p]]"));
System.out.println("a".matches("p{Lower}"));
///注意以下体会b的用法(注意，在字符串常量中十目直接写b表退格，所以要写b
System.out.println("*********************************");
System.out.println("aawordaa".matches(".*bwordb.*"));
System.out.println("aworda".matches(".*bwordb.*"));
System.out.println("aawordaa".matches(".*BwordB.*"));
System.out.println("aworda".matches(".*BwordB.*"));
System.out.println("aworda".matches(".*word.*"));
System.out.println("aawordaa".matches(".*word.*"));
//体会一下组的用法
//组的顺序，只数"("第一个为第一组第二个是第二组……
//第0组表示整个表达式
System.out.println("**************testgroup**************");
Patternp=Pattern.compile("(([abc]+)([123]+))([-_%]+)");
Matcherm=p.matcher("aac212-%%");
System.out.println(m.matches());
m=p.matcher("cccc2223%_%_-");
System.out.println(m.matches());
System.out.println("======testgroup======");
System.out.println(m.group());
System.out.println(m.group(0));
System.out.println(m.group(1));
System.out.println(m.group(2));
System.out.println(m.group(3));
System.out.println(m.group(4));
System.out.println(m.groupCount());
System.out.println("========testend()=========");
System.out.println(m.end());
System.out.println(m.end(2));
System.out.println("==========teststart()==========");
System.out.println(m.start());
System.out.println(m.start(2));
//testbackslash测试反向引用？
Patternpp1=Pattern.compile("(d)1");//这个表达式表示必须有两相同的数字出现
//1表示引用第一个组n表示引用第n个组(必须用1而不能用1因1在字符串中另有意义(我也知道是什么)
Matchermm1=pp1.matcher("3345");//33匹配但45不匹配
System.out.println("testbackslash测试反向引用");
System.out.println(mm1.find());
System.out.println(mm1.find());

//体会以下不同
System.out.println("==============testfind()=========");
System.out.println(m.find());
System.out.println(m.find(2));

System.out.println("这是从第三个字符(index=2)开始找的group结果");
System.out.println(m.group());
System.out.println(m.group(0));
System.out.println(m.group(1));
System.out.println(m.group(2));
System.out.println(m.group(3));
m.reset();
System.out.println(m.find());
//测试一个模式可多次匹配一个串
System.out.println("测试一个模式可多次匹配一个串");
Patternp1=Pattern.compile("a{2}");
Matcherm1=p1.matcher("aaaaaa");
//这说明Matcher的matchs()方法是对事个字符串的匹配，
System.out.println(m1.matches());
System.out.println(m1.find());
System.out.println(m1.find());
System.out.println(m1.find());
System.out.println(m1.find());
//再测试matchs()
System.out.println("再测试matchs()");
Patternp2=Pattern.compile("(a{2})*");
Matcherm2=p2.matcher("aaaa");
System.out.println(m2.matches());
System.out.println(m2.matches());
System.out.println(m2.matches());
//所以find是在一个串中找有没有对应的模式，而matchs是完全匹配
//testlookupat()
System.out.println("testlookupat()");
Patternp3=Pattern.compile("a{2}");
Matcherm3=p3.matcher("aaaa");
System.out.println(p3.flags());
System.out.println(m3.lookingAt());
System.out.println(m3.lookingAt());
System.out.println(m3.lookingAt());
//总结以上matchs()是整个匹配且总是从头开始，find是部分匹配且从上一次匹配结束时开始找
//lookingAt也是从头开始，但是部分匹配
System.out.println("======test空白行========");
System.out.println("n".matches("^[t]*$n"));

//演示appendXXX的用法
System.out.println("=================testappend====================");
Patternp4=Pattern.compile("cat");
Matcherm4=p4.matcher("onecattwocatsintheyard");
StringBuffersb=newStringBuffer();
booleanresult=m4.find();
inti=0;
System.out.println("onecattwocatsintheyard");
while(result)
{m4.appendReplacement(sb,"dog");
System.out.println(m4.group());
System.out.println("第"+i+++"次:"+sb.toString());
result=m4.find();
}
System.out.println(sb.toString());
m4.appendTail(sb);
System.out.println(sb.toString());

//testUNIX_LINES
System.out.println("testUNIX_LINES");
Patternp5=Pattern.compile(".",Pattern.UNIX_LINES);
Matcherm5=p5.matcher("nr");
System.out.println(m5.find());
System.out.println(m5.find());

//testUNIX_LINES
System.out.println("testUNIX_LINES");
Patternp6=Pattern.compile("(?d).");
Matcherm6=p6.matcher("nr");
System.out.println(m6.find());
System.out.println(m6.find());

//testUNIX_LINES
System.out.println("testUNIX_LINES");
Patternp7=Pattern.compile(".");
Matcherm7=p7.matcher("nr");
System.out.println(m7.find());
System.out.println(m7.find());

//testCASE_INSENSITIVE
System.out.println("testCASE_INSENSITIVE");
Patternp8=Pattern.compile("a",Pattern.CASE_INSENSITIVE);
Matcherm8=p8.matcher("aA");
System.out.println(m8.find());
System.out.println(m8.find());
System.out.println("testCASE_INSENSITIVE");
Patternp9=Pattern.compile("(?i)a");
Matcherm9=p9.matcher("aA");
System.out.println(m9.find());
System.out.println(m9.find());
System.out.println("testCASE_INSENSITIVE");
Patternp10=Pattern.compile("a");
Matcherm10=p10.matcher("aA");
System.out.println(m10.find());
System.out.println(m10.find());

//testCOMMENTS
System.out.println("testCOMMENTS");
Patternp11=Pattern.compile("aa#ccc",Pattern.COMMENTS);
Matcherm11=p11.matcher("aaaa#ccc");
System.out.println(m11.find());
System.out.println(m11.find());
System.out.println("testCOMMENTS");
Patternp12=Pattern.compile("(?x)aa#ccc");
Matcherm12=p12.matcher("aaaa#ccc");
System.out.println(m12.find());
System.out.println(m12.find());

//testMULTILINE这个大家多试试参照我上面对多行模式的理解
System.out.println("testMULTILINE");
Patternp13=Pattern.compile("^.?",Pattern.MULTILINE|Pattern.DOTALL);
Matcherm13=p13.matcher("helloohelloo,loveroo");
System.out.println(m13.find());
System.out.println("start:"+m13.start()+"end:"+m13.end());
System.out.println(m13.find());
//System.out.println("start:"+m13.start()+"end:"+m13.end());
System.out.println("testMULTILINE");
Patternp14=Pattern.compile("(?m)^hell.*oo$",Pattern.DOTALL);
Matcherm14=p14.matcher("hello,Worldoonhello,loveroo");
System.out.println(m14.find());
System.out.println("start:"+m14.start()+"end:"+m14.end());
System.out.println(m14.find());
//System.out.println("start:"+m14.start()+"end:"+m14.end());
System.out.println("testMULTILINE");
Patternp15=Pattern.compile("^hell(.|[^.])*oo$");
Matcherm15=p15.matcher("hello,Worldoonhello,loveroo");
System.out.println(m15.find());
System.out.println("start:"+m15.start()+"end:"+m15.end());
System.out.println(m15.find());
//System.out.println("start:"+m15.start()+"end:"+m15.end());

//testDOTALL
System.out.println("testDOTALL");
Patternp16=Pattern.compile(".",Pattern.DOTALL);
Matcherm16=p16.matcher("nr");
System.out.println(m16.find());
System.out.println(m16.find());

System.out.println("testDOTALL");
Patternp17=Pattern.compile(".");
Matcherm17=p17.matcher("nr");
System.out.println(m17.find());
System.out.println(m17.find());

System.out.println("testDOTALL");
Patternp18=Pattern.compile("(?s).");
Matcherm18=p18.matcher("nr");
System.out.println(m18.find());
System.out.println(m18.find());

//testCANON_EQ这个是jdk的例子但我实在不明白是什么意思，向大家请教
System.out.println("testCANON_EQ");
Patternp19=Pattern.compile("au030A",Pattern.CANON_EQ);
System.out.println(Character.getType('u030A'));
System.out.println("is"+Character.isISOControl('u030A'));
System.out.println("is"+Character.isUnicodeIdentifierPart('u030A'));
System.out.println(Character.getType('u00E5'));
System.out.println("is"+Character.isISOControl('u00E5'));
Matcherm19=p19.matcher("u00E5");
System.out.println(m19.matches());
System.out.println(Character.getType('u0085'));
System.out.println("is"+Character.isISOControl('u0085'));

//注意下面三个例子体会Greedy,ReluctantandPossessiveQuantifiers的不同
Patternppp=Pattern.compile(".*foo");
Matchermmm=ppp.matcher("xfooxxxxxxfoo");
/**
*Greedyquantifiers
X?X,onceornotatall
X*X,zeroormoretimes
X+X,oneormoretimes
X{n}X,exactlyntimes
X(n,}X,atleastntimes
X{n,m}X,atleastnbutnotmorethanmtimes
Greedyquantifiers是最常用的一种，如上，它的匹配方式是先匹配尽可能多的字符，当
这样造成整个表达式整体不能匹配时就退一个字符再试比如：
.*foo与xfooxxxxxxfoo的匹配过程，.*先与整个输入匹配，发现这样不行，整个串不能匹配
*于是退最后一个字符"o"再试，还不行，再退直到把foo都退出才发现匹配于是结束。因为这个过程
*总是先从最大匹配开始到找到一个匹配，所以.*与之匹配的总是一个最大的，这个特点和资本家相似
*故名贪婪的
*/
booleanisEnd=false;
intk=0;
System.out.println("==========");
System.out.println("xfooxxxxxxfoo");
while(isEnd==false)
try{
System.out.println("the:"+k++);
System.out.println(mmm.find());
System.out.println(mmm.end());
}catch(Exceptione){
isEnd=true;
}
isEnd=false;
Patternppp1=Pattern.compile(".*?foo");
Matchermmm1=ppp1.matcher("xfooxxxxxxfoo");
/**
*Reluctantquantifiers
X??X,onceornotatall
X*?X,zeroormoretimes
X+?X,oneormoretimes
X{n}?X,exactlyntimes
X(n,}?X,atleastntimes
X{n,m}?X,atleastnbutnotmorethanmtimes
Reluctantquantifiers的匹配方式正好相反，它总是先从最小匹配开始，如果这时导致
整个串匹配失败则再吃进一个字符再试，如：
.*?foo与xfooxxxxxxfoo的匹配过程，首先，.*与空串匹配，这时整个串匹配失败，于是
*再吃一个x,这时发现整个串匹配成功，当再调用find时从上次匹配结束时开始找，先吃一个
*空串，不行，再吃一个x，不行，……直到把中间所有x都吃掉才发现匹配成功。这种方式总
*是从最小匹配开始所以它能找到最多次数的匹配，但第一匹配都是最小的。它的行为有点象雇佣
*工人，总是尽可能少的于活，故名勉强的。
*/
k=0;
System.out.println("?????????????????????");
System.out.println("xfooxxxxxxfoo");
while(isEnd==false)
try{
System.out.println("the:"+k++);
System.out.println(mmm1.find());
System.out.println(mmm1.end());
}catch(Exceptione){
isEnd=true;
}
isEnd=false;
Patternpp2=Pattern.compile(".*+foo");
Matchermm2=pp2.matcher("xfooxxxxxxfoo");
/**
*
Possessivequantifiers
X?+X,onceornotatall
X*+X,zeroormoretimes
X++X,oneormoretimes
X{n}+X,exactlyntimes
X(n,}+X,atleastntimes
X{n,m}+X,atleastnbutnotmorethanmtimes
Possessivequantifiers这种匹配方式与Greedy方式相似，所不同的是它不够聪明，当
它一口吃掉所有可以吃的字符时发现不匹配则认为整个串都不匹配，它不会试着吐出几个。它的行
为和大地主相似，贪婪但是愚蠢，所以名曰强占的。
*/

intii=0;
System.out.println("+++++++++++++++++++++++++++");
System.out.println("xfooxxxxxxfoo");
while(isEnd==false)
try{
System.out.println("the:"+ii++);
System.out.println(mm2.find());
System.out.println(mm2.end());
}catch(Exceptione){
isEnd=true;
}
}
}