【Linux】文本处理三剑客：grep、sed 和 awk
🌈个人主页：人不走空
💖系列专栏：算法专题
⏰诗词歌赋：斯是陋室，惟吾德馨
目录
在日常的开发、运维、数据分析等工作中，我们经常需要处理大量的文本数据。无论是日志分析、配置文件修改，还是数据提取与格式化，命令行工具 grep、sed 和 awk 都是不可或缺的得力助手。它们被戏称为“文本处理三剑客”，为我们提供了高效且灵活的方式来处理和操作文本数据。
1. grep - 快速查找
grep 是 Linux 系统中最常用的文本查找工具，常用于在文件中搜索指定的字符串或正则表达式。它的名字来源于 "Global Regular Expression Print"。
基本用法
grep 'pattern' file.txt # 查找文件中包含 'pattern' 的行
grep -i 'pattern' file.txt # 忽略大小写，查找 'pattern'
grep -r 'pattern' /path/to/dir # 递归查找指定目录下所有文件
grep -v 'pattern' file.txt # 查找不包含 'pattern' 的行
grep -l 'pattern' *.txt # 显示包含 'pattern' 的文件名
示例
假设我们有一个日志文件 logs.txt，想查找所有包含错误信息的行：
grep 'error' logs.txt
这个命令会返回所有包含 error 字符串的行。如果我们想查找所有大小写不敏感的错误信息，可以加上 -i 选项：
grep -i 'error' logs.txt
2. sed - 流编辑器
sed（Stream Editor）是一个功能强大的文本流编辑工具，主要用于文本替换、删除、插入、转换等任务。与 grep 主要用于查找不同，sed 允许我们直接修改文本内容。
基本用法
sed 's/old/new/' file.txt # 替换文件中的第一个 'old' 为 'new'
sed -i 's/old/new/' file.txt # 直接修改文件，将 'old' 替换为 'new'
sed '2d' file.txt # 删除第 2 行
sed '1,3d' file.txt # 删除第 1 到第 3 行
sed 's/^\s*//g' file.txt # 删除每行开头的空格
示例
假设我们要将文件 config.txt 中所有的 localhost 替换为 127.0.0.1：
sed -i 's/localhost/127.0.0.1/g' config.txt
如果想删除文件的第一行，可以使用：
sed '1d' file.txt
而如果想删除每行开头的多余空格，则可以使用：
sed 's/^\s*//g' file.txt
3. awk - 强大的文本处理语言
awk 是一种功能强大的编程语言，专门用于文本和数据处理。与 grep 和 sed 主要处理文本行不同，awk 允许我们按照字段来处理文本，非常适合格式化、筛选和汇总数据。
基本用法
awk '{print $1}' file.txt # 打印文件每行的第一个字段
awk '{print $1, $3}' file.txt # 打印每行的第 1 和第 3 字段
awk '/pattern/ {print $0}' file.txt # 查找包含 'pattern' 的行
awk '{if ($1 > 100) print $1}' file.txt # 如果第 1 列大于 100，打印该列
示例
假设我们有一个 CSV 文件 data.csv，它记录了商品的价格和数量，我们想要筛选出价格大于 100 的商品，并打印它们的名称和价格：
awk -F ',' '$2 > 100 {print $1, $2}' data.csv
这里使用了 -F ',' 选项来指定逗号作为字段分隔符。$1 表示商品名称，$2 表示价格。
另外，如果我们想统计每行的字段数量，并只打印字段数大于 3 的行，可以使用：
awk 'NF > 3' file.txt
如何高效组合使用它们
这三款工具各有特点，但它们可以在命令行中组合使用，从而达到更复杂的文本处理效果。例如，你可以先使用 grep 查找包含特定字符串的行，然后使用 sed 进行替换，最后通过 awk 来提取和格式化数据。
示例：日志分析
假设我们有一个日志文件 app.log，我们想要：
- 查找所有包含
error字符串的行。 - 将这些行中的
ERROR替换为WARNING。 - 提取并显示错误发生的时间（假设时间在每行的第一个字段）。
grep 'error' app.log | sed 's/ERROR/WARNING/g' | awk '{print $1, $0}'
这条命令首先用 grep 查找包含 error 的行，然后用 sed 替换 ERROR 为 WARNING，最后使用 awk 提取并显示每行的第一个字段（时间）。
总结
在 Linux 和类 Unix 系统中，grep、sed 和 awk 被称为“文本处理三剑客”，它们是处理文本数据的核心工具：
- grep 用于查找文本中符合特定模式的行；
- sed 用于对文本进行流编辑，可以替换、删除、插入等；
- awk 是一种强大的文本处理语言，适用于字段操作和格式化输出。
通过这三款工具的巧妙组合，您可以高效地处理和分析文本数据，轻松应对各种日志分析、配置修改和数据清洗任务。如果你还没有掌握它们，强烈建议在日常工作中深入了解和使用这些工具，它们将极大地提高你的工作效率。
作者其他作品：
OpenAI Sora来了，视频生成领域的GPT-4时代来了
[Java·算法·简单] LeetCode 14. 最长公共前缀 详细解读
[Java·算法·简单] LeetCode 28. 找出字a符串中第一个匹配项的下标 详细解读
原文地址：https://blog.csdn.net/double222222/article/details/144354775
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！