Linux日志审计常用命令: sed、sort、uniq

在Linux系统中，日志审计是一项重要的任务，可以帮助我们了解系统的运行状况，排查问题，并保证系统的安全。在日志审计过程中，sed、sort和uniq是三个非常实用的命令。本文将详细介绍这三个命令的常用参数及其作用，并结合实例说明其用法。

1. sed命令

sed是一个强大的文本处理工具，可以对文本进行替换、删除、插入等操作。以下是sed命令的常用参数：

• -e: 允许执行多个编辑命令
• -n: 只打印匹配的行
• -i: 直接修改文件内容
• s: 替换文本
• d: 删除匹配的行
• p: 打印匹配的行

1.1 替换文本

使用s参数可以替换文本，格式为s/old/new/g，其中old表示要替换的文本，new表示替换后的文本，g表示全局替换。

例如，将文件中的所有error替换为ERROR：

sed 's/error/ERROR/g' log.txt

1.2 删除匹配的行

使用d参数可以删除匹配的行。

例如，删除包含error的行：

sed '/error/d' log.txt

1.3 打印匹配的行

使用p参数可以打印匹配的行，通常与-n参数一起使用。

例如，打印包含error的行：

sed -n '/error/p' log.txt

2. sort命令

sort命令用于对文本进行排序。以下是sort命令的常用参数：

• -n: 按数字顺序排序
• -r: 反向排序
• -k: 指定排序的列
• -t: 指定列分隔符
• -u: 去重

2.1 按数字顺序排序

使用-n参数可以按数字顺序排序。

例如，按第二列的数字顺序排序：

sort -n -k 2 data.txt

2.2 反向排序

使用-r参数可以进行反向排序。

例如，按第一列的字母顺序反向排序：

sort -r -k 1 data.txt

2.3 去重

使用-u参数可以去重。

例如，去重并按第三列的数字顺序排序：

sort -u -n -k 3 data.txt

3. uniq命令

uniq命令用于去重和统计重复次数。以下是uniq命令的常用参数：

• -c: 统计每行出现的次数
• -d: 只显示重复的行
• -u: 只显示唯一的行

3.1 统计每行出现的次数

使用-c参数可以统计每行出现的次数。

例如，统计每个单词出现的次数：

cat words.txt | sort | uniq -c

3.2 只显示重复的行

使用-d参数可以只显示重复的行。

例如，找出文件中重复的行：

sort file.txt | uniq -d

3.3 只显示唯一的行

使用-u参数可以只显示唯一的行。

例如，找出文件中唯一的行：

sort file.txt | uniq -u

4. 综合实例

下面通过一个综合实例来演示sed、sort和uniq命令的用法。

假设我们有一个日志文件access.log，记录了网站的访问情况。现在我们要统计每个IP的访问次数，并按访问次数从高到低排序。

# 提取IP地址
sed -n 's/.*\([0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\).*/\1/p' access.log |
# 统计IP出现的次数
sort | uniq -c |
# 按访问次数从高到低排序
sort -nr

解释：

1. 使用sed命令提取每行日志中的IP地址
2. 使用sort命令对IP地址进行排序
3. 使用uniq -c统计每个IP出现的次数
4. 使用sort -nr按访问次数从高到低排序

通过这个例子，我们可以看到sed、sort和uniq命令的组合使用，可以快速地分析和统计日志数据。

5. 总结

本文详细介绍了Linux日志审计中常用的sed、sort和uniq命令的用法，并结合实例说明了它们的常用参数和作用。熟练掌握这三个命令，可以大大提高我们分析和处理日志的效率。在实际工作中，我们可以灵活运用这些命令，结合管道和重定向，实现更加复杂的日志审计和分析任务。