正则表达式-使用笔记

news/2024/7/24 11:53:26 标签: 笔记, 经验分享

  1. 正则使用不当,会导致CPU飙升;
  2. 场景区分,是判断存在还是提取内容;
  3. 匹配范围,是匹配部分内容还是整行;

一、初识正则

正则表达式 – 语法 | 菜鸟教程

sparksql 正则匹配总结

https://www.cnblogs.com/he1m4n6a/p/10256163.html

二、匹配模式 - 贪婪、懒惰、独享

JAVA进阶篇(13)— 正则表达式的性能优化(正则表达式导致CPU飙升)

正则表达式的三种模式:贪婪模式、懒惰模式、独占模式

贪婪模式
默认模式,尝试匹配尽可能多的字符。
常用量词:`*`, `+`, `?`, `{n,}` 等。
场景举例:当你想要匹配一个字符串中尽可能长的特定模式时。
例子:`<.*>` 用于匹配从一个 `<` 到下一个 `>` 之间的所有内容。

懒惰模式
最小匹配,尝试匹配尽可能少的字符。
常用量词:`*?`, `+?`, `??`, `{n,}?` 等。
场景举例:当你想要匹配最短的可能字符串时
例子:`<.*?>` 用于匹配 `<` 和最近的一个 `>` 之间的内容。

独享模式
类似于贪婪模式,但是一旦匹配,就不会回溯。
常用量词:`*+`, `++`, `?+`, `{n,}+` 等。
场景举例:当你确定不需要回溯时,或者当你想要避免正则表达式中的回溯导致的性能问题时,使用独享模式会更高效。
例子:`<.*+>` 用于匹配 `<` 之后的所有内容,直到字符串结束,而不尝试匹配闭合的 `>`。

三、回溯原理

导致性能下降最主要原因:

  1. .* 会导致大量回溯
  2. | 分支操作

https://zhuanlan.zhihu.com/p/27417442

四、优化正则

优化方向 - 是用于判断存在,还是用于提取内容

  • 正则表达式:规则越多,要匹配的越多,性能越差;
  • 被测串长度:越长,搜索约耗时,性能越差;
  • 被测数据量:越多,性能差异约明显;
  • 预处理:减少匹配规则
  • 替代正则:用非正则函数实现

1. 使用正确的量词
不随意使用+或*,它会匹配尽可能多的字符,这可能导致回溯,特别是当模式不匹配时;

改用非贪婪量词(如 `*?` 和 `+?`);尤其避免:.*、.+

用于判断时, .*不要放在规则最后;

2. 使用更为精确的字符类
不随意使用.*来匹配字段,这个表达式包含了很大的搜索空间,容易发生不必要的匹配和回溯,导致匹配性能下降;

2. 消除不必要的字符组
例如:[@]简化为@ 、[0-9]可以简化为\d

3. 锚定匹配位置
使用锚点(如 `^` 和 `$`)来指定匹配的开始和结束位置,可以减少搜索空间,提高匹配效率;

使用.*开头的表达式应该在最前面加^,例如:.*abc  vs  ^.*abc

“^(?:abc|123)”比“^123|^abc”效率高,而“^(abc)”比“(^abc)”效率更高

^(?:aa|bb|cc)  效率高于 ^(aa|bb|cc).* 

4. 优化多选结构
尽量避免多选结构,a|b|c 优化为 [abc] 
提取开头的必需元素, (?:this|that) 优化为 th(?:is|at)

5. 优化捕获组

如果只是为了匹配文本而不关心匹配的具体内容,尽量不要使用捕获组;

当要捕获组的时候,使用非捕获型括号(?:),因为使用(?:)可以匹配想要的内容,但不捕获到组里,可以节省资源提高效率;


6. 避免使用嵌套的量词
如 `(a+)+`

7. 使用非正则函数
如果你的操作可以用字符串处理方法完成(比如`startsWith`、`endsWith`、`contains`),那么不使用正则表达式通常会更快。

8. 逆向思维
正向判断的正则不好实现,是否可以考虑反向的;

五、常用工具

regex101: build, test, and debug regex

正则表达式在线测试 | 菜鸟工具

六、性能比对

1. 实际运行任务测试

  • 使用和不使用正则比对
  • 多个不同的正则比对

2. 使用正则工具


http://www.niftyadmin.cn/n/5547004.html

相关文章

离线运行Llama3:本地部署终极指南_liama2 本地部署

4月18日&#xff0c;Meta在官方博客官宣了Llama3&#xff0c;标志着人工智能领域迈向了一个重要的飞跃。经过笔者的个人体验&#xff0c;Llama3 8B效果已经超越GPT-3.5&#xff0c;最为重要的是&#xff0c;Llama3是开源的&#xff0c;我们可以自己部署&#xff01; 本文和大家…

【7.29-1800】

B. Missing Subsequence Sum 题意&#xff1a;构造一个长度不超过 25 的序列&#xff0c;保证任意子集的和的集合为 { x ∣ 1 ≤ x < k a n d k < x ≤ n } \{x|1\leq x<k ~and ~ k<x\leq n\} {x∣1≤x<k and k<x≤n} 【不会解决空缺的问题&#xff0c;看…

gitee及git的简单使用、下载教(保姆级教程)

前言&#xff1a; GitHub&#xff0c;一个由外国研发的代码开源网站&#xff0c;我们可以通过它获得别人优秀的项目源码&#xff0c;也可以在上面上传自己的劳动成果。但是&#xff0c;我们很难访问外网。于是&#xff0c;我们将目光转向国内一个类似的网站---码云&#xff08…

探索多模态预训练:MAnTiS、ActionCLIP、CPT与CoOp的Prompt技巧

上一篇博文整理了 预训练新范式&#xff08;Prompt-tuning&#xff0c;Prefix-tuning&#xff0c;P-tuning&#xff09; &#xff0c;主要是围绕NLP上的成果&#xff0c;具体的概念本文也不做过多赘述。本篇文章将主要整理几篇有代表性的Prompt方法在多模态领域中的应用。 Mult…

【chatgpt】 PyTorch中reshape和view

在 PyTorch 中&#xff0c;reshape 和 view 都用于改变张量的形状&#xff0c;但它们在实现和使用上有一些重要的区别。理解这些区别对于在复杂的张量操作中选择合适的方法非常关键。 view 方法 连续性要求&#xff1a;view 方法要求原始张量在内存中是连续的。如果张量不是连…

Sql 导入到 Excel 工具

Sql 导入到 Excel 工具 这个VBA宏的步骤如下&#xff1a; 通过文件对话框选择SQL文件。读取文件内容。解析文件中的每一行&#xff0c;如果包含“insert into”&#xff0c;则提取表名。检查是否已经存在以表名命名的工作表&#xff0c;如果不存在则创建新的工作表。将数据插…

基于java+ssm+jsp实现的网上购物系统(文末源码+lw+ppt)23-45

1 摘 要 本文首先实现了网上购物系统设计与实现管理技术的发展随后依照传统的软件开发流程&#xff0c;最先为系统挑选适用的言语和软件开发平台&#xff0c;依据需求分析开展控制模块制做和数据库查询构造设计&#xff0c;随后依据系统整体功能模块的设计&#xff0c;制作系…

认识同源策略

同源策略是一种浏览器安全机制&#xff0c;用于限制一个源的文档或脚本如何与另一个源的资源进行交互。源由协议&#xff08;如HTTP或HTTPS&#xff09;、域名和端口号组成。如果两个URL的协议、域名和端口都相同&#xff0c;则它们具有相同的源。 同源策略主要影响以下几个方…