Shell正则表达式应用

课程介绍

正则表达式（Regular Expression）是一种强大的文本匹配工具，用于在文本中查找、替换和验证模式。本课程将详细讲解Shell中的正则表达式应用，包括基础语法、元字符、量词、分组等核心概念，帮助你掌握正则表达式的使用技巧。

1. 正则表达式概述

1.1 什么是正则表达式

正则表达式是一种描述文本模式的字符串，用于匹配、查找和替换文本。

正则表达式的特点：

特点	说明
模式匹配	匹配特定的文本模式
文本查找	在文本中查找特定模式
文本替换	替换匹配的文本
文本验证	验证文本格式

1.2 正则表达式的应用场景

正则表达式在很多场景下都有应用。

应用场景：

场景	说明
日志分析	分析日志文件
数据验证	验证数据格式
文本处理	处理文本文件
配置文件	解析配置文件
代码搜索	搜索代码

2. 正则表达式基础语法

2.1 字符匹配

正则表达式支持多种字符匹配方式。

字符匹配：

模式	说明	示例
`.`	匹配任意单个字符	`a.c` 匹配 `abc`、`a1c`
`[]`	匹配括号内的任意字符	`[abc]` 匹配 `a`、`b`、`c`
`[^]`	匹配不在括号内的任意字符	`[^abc]` 匹配除 `a`、`b`、`c` 外的字符
`\d`	匹配数字	`\d` 匹配 `0-9`
`\D`	匹配非数字	`\D` 匹配除 `0-9` 外的字符
`\w`	匹配字母、数字、下划线	`\w` 匹配 `a-z`、`A-Z`、`0-9`、`_`
`\W`	匹配非字母、数字、下划线	`\W` 匹配除 `a-z`、`A-Z`、`0-9`、`_` 外的字符
`\s`	匹配空白字符	`\s` 匹配空格、制表符、换行符
`\S`	匹配非空白字符	`\S` 匹配除空格、制表符、换行符外的字符

示例：

bash

# 匹配任意字符
echo "abc" | grep "a.c"

# 匹配括号内的任意字符
echo "abc" | grep "[abc]"

# 匹配数字
echo "123" | grep "\d"

# 匹配字母、数字、下划线
echo "abc123" | grep "\w"

2.2 量词

量词用于指定匹配的次数。

量词：

量词	说明	示例
`*`	匹配0次或多次	`a*` 匹配 `""`、`a`、`aa`、`aaa`
`+`	匹配1次或多次	`a+` 匹配 `a`、`aa`、`aaa`
`?`	匹配0次或1次	`a?` 匹配 `""`、`a`
`{n}`	匹配n次	`a{3}` 匹配 `aaa`
`{n,}`	匹配n次或更多	`a{3,}` 匹配 `aaa`、`aaaa`、`aaaaa`
`{n,m}`	匹配n到m次	`a{2,4}` 匹配 `aa`、`aaa`、`aaaa`

示例：

bash

# 匹配0次或多次
echo "aaa" | grep "a*"

# 匹配1次或多次
echo "aaa" | grep "a+"

# 匹配0次或1次
echo "a" | grep "a?"

# 匹配3次
echo "aaa" | grep "a{3}"

# 匹配3次或更多
echo "aaaaa" | grep "a{3,}"

# 匹配2到4次
echo "aaa" | grep "a{2,4}"

2.3 锚点

锚点用于指定匹配的位置。

锚点：

锚点	说明	示例
`^`	匹配行首	`^abc` 匹配行首的 `abc`
`$`	匹配行尾	`abc$` 匹配行尾的 `abc`
`\b`	匹配单词边界	`\babc\b` 匹配单词 `abc`
`\B`	匹配非单词边界	`\Babc\B` 匹配非单词边界

示例：

bash

# 匹配行首
echo "abc" | grep "^abc"

# 匹配行尾
echo "abc" | grep "abc$"

# 匹配单词边界
echo "abc" | grep "\babc\b"

2.4 分组和引用

分组和引用用于组合模式和引用匹配的文本。

分组和引用：

语法	说明	示例
`()`	分组	`(abc)+` 匹配 `abc`、`abcabc`、`abcabcabc`
`\1`、`\2`、`\3`	引用分组	`(a)(b)\1\2` 匹配 `abab`
`(?:)`	非捕获分组	`(?:abc)+` 匹配 `abc`、`abcabc`、`abcabcabc`

示例：

bash

# 分组
echo "abcabc" | grep "(abc)+"

# 引用分组
echo "abab" | grep "(a)(b)\1\2"

# 非捕获分组
echo "abcabc" | grep "(?:abc)+"

3. grep命令

3.1 grep概述

grep是一个强大的文本搜索工具，支持正则表达式。

grep的特点：

特点	说明
文本搜索	在文本中搜索特定模式
正则表达式	支持正则表达式
递归搜索	支持递归搜索目录
颜色高亮	支持颜色高亮匹配的文本

3.2 grep基础用法

grep的基础用法。

示例1：搜索文本

bash

# 搜索文本
grep "error" /var/log/syslog

# 搜索多个文件
grep "error" /var/log/*.log

# 递归搜索目录
grep -r "error" /var/log/

示例2：忽略大小写

bash

# 忽略大小写搜索
grep -i "error" /var/log/syslog

示例3：显示行号

bash

# 显示行号
grep -n "error" /var/log/syslog

示例4：显示匹配的文件名

bash

# 显示匹配的文件名
grep -l "error" /var/log/*.log

3.3 grep正则表达式

grep支持正则表达式。

示例1：使用正则表达式

bash

# 使用正则表达式搜索
grep "error.*warning" /var/log/syslog

# 搜索数字
grep "[0-9]" /var/log/syslog

# 搜索IP地址
grep "[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}" /var/log/syslog

示例2：使用扩展正则表达式

bash

# 使用扩展正则表达式
grep -E "error|warning" /var/log/syslog

# 搜索邮箱
grep -E "[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}" /var/log/syslog

3.4 grep高级用法

grep的高级用法。

示例1：反向匹配

bash

# 反向匹配
grep -v "error" /var/log/syslog

示例2：统计匹配次数

bash

# 统计匹配次数
grep -c "error" /var/log/syslog

示例3：显示匹配的上下文

bash

# 显示匹配的上下文
grep -C 3 "error" /var/log/syslog

# 显示匹配的前3行
grep -B 3 "error" /var/log/syslog

# 显示匹配的后3行
grep -A 3 "error" /var/log/syslog

4. sed命令

4.1 sed概述

sed是一个流编辑器，用于文本替换和编辑。

sed的特点：

特点	说明
文本替换	替换文本
文本删除	删除文本
文本插入	插入文本
文本追加	追加文本

4.2 sed基础用法

sed的基础用法。

示例1：替换文本

bash

# 替换文本
sed 's/error/warning/' /var/log/syslog

# 替换所有匹配的文本
sed 's/error/warning/g' /var/log/syslog

# 替换并保存到文件
sed 's/error/warning/g' /var/log/syslog > /var/log/syslog.new

示例2：删除文本

bash

# 删除匹配的行
sed '/error/d' /var/log/syslog

# 删除第1行
sed '1d' /var/log/syslog

# 删除第1到10行
sed '1,10d' /var/log/syslog

示例3：插入文本

bash

# 在匹配的行前插入文本
sed '/error/i\WARNING' /var/log/syslog

# 在匹配的行后插入文本
sed '/error/a\WARNING' /var/log/syslog

4.3 sed正则表达式

sed支持正则表达式。

示例1：使用正则表达式

bash

# 使用正则表达式替换
sed 's/[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}/IP/' /var/log/syslog

# 使用正则表达式删除
sed '/error.*warning/d' /var/log/syslog

示例2：使用扩展正则表达式

bash

# 使用扩展正则表达式替换
sed -E 's/error|warning/INFO/' /var/log/syslog

4.4 sed高级用法

sed的高级用法。

示例1：直接修改文件

bash

# 直接修改文件
sed -i 's/error/warning/g' /var/log/syslog

示例2：备份文件

bash

# 备份文件并修改
sed -i.bak 's/error/warning/g' /var/log/syslog

示例3：多个命令

bash

# 多个命令
sed -e 's/error/warning/g' -e 's/fatal/critical/g' /var/log/syslog

5. awk命令

5.1 awk概述

awk是一个强大的文本处理工具，用于文本分析和处理。

awk的特点：

特点	说明
文本分析	分析文本
文本处理	处理文本
格式化输出	格式化输出
编程能力	支持编程

5.2 awk基础用法

awk的基础用法。

示例1：打印文本

bash

# 打印所有行
awk '{print}' /var/log/syslog

# 打印第1列
awk '{print $1}' /var/log/syslog

# 打印第1列和第3列
awk '{print $1, $3}' /var/log/syslog

示例2：过滤行

bash

# 过滤包含error的行
awk '/error/ {print}' /var/log/syslog

# 过滤第1列等于error的行
awk '$1 == "error" {print}' /var/log/syslog

示例3：统计

bash

# 统计行数
awk 'END {print NR}' /var/log/syslog

# 统计包含error的行数
awk '/error/ {count++} END {print count}' /var/log/syslog

5.3 awk正则表达式

awk支持正则表达式。

示例1：使用正则表达式

bash

# 使用正则表达式过滤
awk '/error.*warning/ {print}' /var/log/syslog

# 使用正则表达式匹配
awk '$1 ~ /error/ {print}' /var/log/syslog

示例2：使用扩展正则表达式

bash

# 使用扩展正则表达式过滤
awk '/error|warning/ {print}' /var/log/syslog

5.4 awk高级用法

awk的高级用法。

示例1：使用分隔符

bash

# 使用逗号作为分隔符
awk -F, '{print $1, $2}' /var/log/syslog

# 使用冒号作为分隔符
awk -F: '{print $1, $3}' /etc/passwd

示例2：使用BEGIN和END

bash

# 使用BEGIN和END
awk 'BEGIN {print "开始处理"} {print} END {print "处理完成"}' /var/log/syslog

示例3：使用数组

bash

# 使用数组统计
awk '{count[$1]++} END {for (i in count) print i, count[i]}' /var/log/syslog

6. 实战案例

案例1：日志分析

场景：分析日志文件，统计错误数量。

脚本：

bash

#!/bin/bash
# 日志分析脚本

# 日志文件
log_file="/var/log/syslog"

# 统计ERROR数量
error_count=$(grep -c "ERROR" "$log_file")
echo "ERROR数量：$error_count"

# 统计WARN数量
warn_count=$(grep -c "WARN" "$log_file")
echo "WARN数量：$warn_count"

# 统计INFO数量
info_count=$(grep -c "INFO" "$log_file")
echo "INFO数量：$info_count"

# 提取ERROR日志
echo "ERROR日志："
grep "ERROR" "$log_file"

案例2：数据验证

场景：验证邮箱地址格式。

脚本：

bash

#!/bin/bash
# 邮箱验证脚本

# 邮箱地址
email="user@example.com"

# 验证邮箱地址
if echo "$email" | grep -qE "^[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}$"; then
    echo "邮箱地址格式正确"
else
    echo "邮箱地址格式错误"
fi

案例3：文本替换

场景：替换配置文件中的IP地址。

脚本：

bash

#!/bin/bash
# 文本替换脚本

# 配置文件
config_file="config.ini"

# 替换IP地址
sed -i 's/192\.168\.1\.10/192.168.1.20/g' "$config_file"

# 显示替换后的配置
cat "$config_file"

课程总结

这节课我们学习了Shell正则表达式应用。

核心内容:

正则表达式概述
正则表达式基础语法（字符匹配、量词、锚点、分组和引用）
grep命令
sed命令
awk命令
实战案例

重要命令:

grep：文本搜索工具
sed：流编辑器
awk：文本处理工具

正则表达式是Shell脚本编程的重要工具，掌握这些知识后，我们将在后续课程中学习数组操作、脚本调试技巧等内容。

课后练习

练习1（基础）

使用grep命令搜索日志文件中的ERROR日志。

练习2（进阶）

使用sed命令替换配置文件中的IP地址。

练习3（拓展）

使用awk命令统计日志文件中不同日志级别的数量。

Shell正则表达式应用 ​

课程介绍 ​

1. 正则表达式概述 ​

1.1 什么是正则表达式 ​

1.2 正则表达式的应用场景 ​

2. 正则表达式基础语法 ​

2.1 字符匹配 ​

2.2 量词 ​

2.3 锚点 ​

2.4 分组和引用 ​

3. grep命令 ​

3.1 grep概述 ​

3.2 grep基础用法 ​

3.3 grep正则表达式 ​

3.4 grep高级用法 ​

4. sed命令 ​

4.1 sed概述 ​

4.2 sed基础用法 ​

4.3 sed正则表达式 ​

4.4 sed高级用法 ​

5. awk命令 ​

5.1 awk概述 ​

5.2 awk基础用法 ​

5.3 awk正则表达式 ​

5.4 awk高级用法 ​

6. 实战案例 ​

案例1：日志分析 ​

案例2：数据验证 ​

案例3：文本替换 ​

课程总结 ​

课后练习 ​

练习1（基础） ​

练习2（进阶） ​

练习3（拓展） ​

评论区

Shell正则表达式应用

课程介绍

1. 正则表达式概述

1.1 什么是正则表达式

1.2 正则表达式的应用场景

2. 正则表达式基础语法

2.1 字符匹配

2.2 量词

2.3 锚点

2.4 分组和引用

3. grep命令

3.1 grep概述

3.2 grep基础用法

3.3 grep正则表达式

3.4 grep高级用法

4. sed命令

4.1 sed概述

4.2 sed基础用法

4.3 sed正则表达式

4.4 sed高级用法

5. awk命令

5.1 awk概述

5.2 awk基础用法

5.3 awk正则表达式

5.4 awk高级用法

6. 实战案例

案例1：日志分析

案例2：数据验证

案例3：文本替换

课程总结

课后练习

练习1（基础）

练习2（进阶）

练习3（拓展）