利用awk分析nginx日志的linux方法 (linux awk nginx日志分析)
利用awk分析nginx日志的Linux方法
随着Web应用的不断发展，Nginx作为一种高性能、高可扩展性的Web服务器，被广泛使用，同时Nginx也具有丰富的日志记录功能。利用Nginx日志文件，我们可以更好地了解网站访问情况，并通过分析日志文件来进行优化。在Linux系统中，我们可以使用awk来解析Nginx日志文件，下面介绍如何使用awk进行分析。
1. 配置Nginx的日志格式
我们需要在Nginx的配置文件中定义日志格式。打开nginx.conf文件，在http段中添加以下配置：
log_format mn ‘$remote_addr – $remote_user [$time_local] “$request” ‘
‘$status $body_bytes_sent “$http_referer” ‘
‘”$http_user_agent” “$http_x_forwarded_for”‘;
这里定义了名为mn的日志格式，该格式包括了远程访问IP、远程用户、请求时间、请求信息、HTTP状态码、返回字节数、来源地址、浏览器UA以及HTTP X-Forwarded-For头。
2. 生成Nginx日志文件
在Nginx启动时，我们需要在配置文件中指定访问日志和错误日志的位置。通过以下配置可以将访问日志写入到access.log文件中：
access_log /var/log/nginx/access.log mn;
当然，我们也可以在运行中更改Nginx的日志配置以实现控制日志记录的精度和量。
3. 通过awk分析Nginx日志文件
在Linux系统中，我们可以通过awk命令解析Nginx日志文件。awk是一种文本处理工具，用于在大量文本数据中查找与处理信息。在Nginx日志文件中，每一行记录代表一个用户访问请求，其中包含了请求的各种信息，例如：远程IP地址、访问时间、请求方式、请求路径、HTTP状态码等等。下面是一个简单的示例来演示通过awk分析Nginx日志文件：
1) 统计访问量
awk ‘{print $1}’ /var/log/nginx/access.log | sort | uniq -c | sort -nr
该命令可以输出访问量更高的IP地址列表，每一行记录代表一个IP地址和该IP地址对应的访问次数。例如：
123 192.168.1.101
101 192.168.1.102
83 192.168.1.103
这表明IP地址192.168.1.101最活跃，访问量为123次。该命令中的$1表示以空格为分隔符，将每行日志文件中的之一个字段（即IP地址）输出。
2) 统计访问频率
awk ‘{print $4}’ /var/log/nginx/access.log | cut -c 2-12 | sort | uniq -c | sort -nr
该命令可以输出访问频率更高的时间段列表，每一行记录代表一个时间段和该时间段对应的访问次数。例如：
6768 27/Mar/2023:08
5906 27/Mar/2023:09
5355 27/Mar/2023:10
这表明在2023年3月27日的8点最为活跃，访问次数为6768次。该命令中的$4表示以空格为分隔符，将每行日志文件中的第四个字段（即访问时间）输出，而cut命令则提取出访问时间中的天、月、年等信息。
3) 统计访问请求方式
awk ‘{print $6}’ /var/log/nginx/access.log | sort | uniq -c | sort -nr
该命令可以输出访问请求方式更高的列表，每一行记录代表了一种访问请求方式和该访问方式对应的访问次数。例如：
15673 GET
320 POST
17 HEAD
这表明大部分访问请求方式为GET，而POST和HEAD请求没有被经常使用。该命令中的$6表示以空格为分隔符，将每行日志文件中的第六个字段（即请求方式）输出。
4) 统计访问请求路径
awk ‘{a[$7]++} END {for(i in a) print a[i],i}’ /var/log/nginx/access.log | sort -rn | head -n 10
该命令可以输出访问请求路径访问次数最多的前10条路径记录，每一行记录代表一种路径和该路径对应的访问次数。例如：
301456 /index.php
278931 /wp-login.php
263870 /wp-admin/plugins.php
这表明在该网站中最常见的页面是index.php和wp-login.php，这些页面同时也是各种恶意攻击的主要目标。该命令中的$7表示以空格为分隔符，将每行日志文件中的第七个字段（即请求路径）统计到数组a中，并在最后输出所有的路径访问次数信息。
熟练使用awk和其他Linux命令对Nginx日志进行分析，可以帮助我们更深入地了解网站的访问情况，同时也可以发现安全隐患和进行站点优化。
相关问题拓展阅读：
Nginx日志切割方法（包含docker容器中nginx日志的切割）
logrotate软件简介
logrotate 是一个 Bash 的 SHELL 脚本，可对日志文件进行切分，并将切分后的日志放在统一目录。
logrotate 要求 GNU bash、GNU gzip 和 GNU date。
logrotate 实用程序旨在简化在生成大量日志文件的系统上对日志文件的管理。允许自动循环压缩，删除和邮寄日志文件。可以将logrotate设置为每小时、每天、每周、每月或当日志文件达到一定大小时处理日志文件。
一般来说，logrotate是linux自带的服务，根据不同日志服务配置独立的
配置文件
，一般是在/etc/logrotate.d。
切割nginx日志的配置文件内容如下：(nginx安装在宿主机上)
切割nginx日志的配置文件内容如下：(nginx安装在docker容器上)
脚本说明：
“nginx”为容器名称，可以按实际调整
文件中“/var/log/nginx/”为nginx日志默认目录，由于在nginx.conf文件中可以调整日志目录，所以需要跟据需求调整。
检测命令：
logrotate -d -f /etc/logrotate.d/docker_nginx
手动执行命令：
logrotate -f /etc/logrotate.d/docker_nginx
配置自定义的crontab任务
把 logrotate 的任务计划删掉，在每天凌晨00:00进行切割nginx日志
logrotate参数：
关于linux awk nginx日志分析的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。
