如何用logrotate管理每日增长的日志

吾爱主题阅读：134 2024-04-05 15:07:42 评论：0

logrotate简介

logrotate is designed to ease administration of systems that generate large numbers of log files. It allows automatic rotation, compression, removal, and mailing of log files. Each log file may be handled daily, weekly, monthly, or when it grows too large.

这是logrotate文档中对其自身的描述，其实logrotate功能很简单，正如其名，按一定周期自动循环分割和保存日志防止无限增长，必要的时候进行压缩、删除，还可以进行邮件通知等功能。

很多服务器上总会运行着一些会不停生成成吨日志的程序，最简单的比如nginx、httpd之类的web服务器的访问日志，为了保持这些日志的可检索以及防止无限增长把有限的硬盘都吃干净了，就会有五花八门的cron脚本来处理这些日志，事实上这些事情都可以由logrotate代劳。

安装logrotate

事实上大多数Linux发行版本都默认安装了logrotate，可以通过以下命令来判断系统是否已经预装了logrotate：

rpm包管理器：

1	`rpm -qa\|` `grep` `logrotate`

dpkg包管理器：

1	`dpkg --list\|` `grep` `logrotate`

更简单粗暴的方法：

1	`which` `logrotate`

如果能看到有字符串返回的话，你的服务器就应该预装了logrotate，并且它已经每天在默默地工作了，只不过你并没有给他分配活儿。

如果没有安装的话，用正常的包管理工具都能安装它：

1	`yum` `install` `logrotateapt-get` `install` `logrotate`

logrotate基本工作原理

作为一个定时处理的管理工具，logrotate本身是个命令行的工具，然而它需要定时处理你的日志，所以显然logrotate还是得基于cron来工作的，否则就没有人定时来唤醒它让它干活了，正常情况下logrotate已经作为cron.daily的一个任务每天被定时在执行了，这个定时脚本位于/etc/cron.daily/logrotate

1 2 3 4 5 6 7 8 9 10 11 12 #!/bin/sh # Clean non existent log file entries from status file cd /var/lib/logrotate test -e status || touch status head -1 status > status.clean sed 's/"//g' status | while read logfile date do [ -e "$logfile" ] && echo "\"$logfile\" $date" done >> status.clean mv status.clean status test -x /usr/sbin/logrotate || exit 0 /usr/sbin/logrotate /etc/logrotate .conf

上面这段是Ubuntu中默认的logrotate脚本，各个不同版本上的logrotate脚本会有细微的不同，但是核心都是使用/etc/logrotate.conf配置脚本来启动logrotate。

然而这段脚本只是位于这个目录里，为什么会被每天调用呢，而且每天什么点调用呢？

可以查看CRON的默认配置文件/etc/crontab（新版CentOS中其默认配置文件位于/etc/anacrontab）的内容：

1 2 3 4 5 6 7 8 9 10 11 12 # /etc/crontab: system-wide crontab # Unlike any other crontab you don't have to run the `crontab' # command to install the new version when you edit this file # and files in /etc/cron.d. These files also have username fields, # that none of the other crontabs do. SHELL= /bin/sh PATH= /usr/local/sbin : /usr/local/bin : /sbin : /bin : /usr/sbin : /usr/bin # m h dom mon dow user command 17 * * * * root cd / && run-parts --report /etc/cron .hourly 25 6 * * * root test -x /usr/sbin/anacron || ( cd / && run-parts --report /etc/cron .daily ) 47 6 * * 7 root test -x /usr/sbin/anacron || ( cd / && run-parts --report /etc/cron .weekly ) 52 6 1 * * root test -x /usr/sbin/anacron || ( cd / && run-parts --report /etc/cron .monthly )

事实上CRON默认会存在这4条指令，分别是每小时、每天、每周、每个月会执行对应目录下的脚本，而不需要再通过日常常用的crontab去配置，可以看到cron.daily目录下的脚本在每天的6点25分会被执行，这也就意味着在这台机器上每天6点25分会启动logrotate进行日志的处理，各个系统的默认配置也是各不相同的。

最后来看一下默认的配置文件/etc/logrotate.conf：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 # see "man logrotate" for details # rotate log files weekly weekly # use the syslog group by default, since this is the owning group # of /var/log/syslog. su root syslog # keep 4 weeks worth of backlogs rotate 4 # create new (empty) log files after rotating old ones create # uncomment this if you want your log files compressed #compress # packages drop log rotation information into this directory include /etc/logrotate .d # no packages own wtmp, or btmp -- we'll rotate them here /var/log/wtmp { missingok monthly create 0664 root utmp rotate 1 } /var/log/btmp { missingok monthly create 0660 root utmp rotate 1 } # system-specific logs may be configured here

其实默认配置文件中给出的是logrotate的一些默认配置选项，并给出了一些样例的配置（如wtmp，btmp），这些配置的意义在后文中会予以阐述，而这个配置文件中还包含了include /etc/logrotate.d，这使得我们可以不用将所有的配置扎堆写入这个默认配置文件中，而是可以分散地管理在/etc/logrotate.d目录下，事实上/etc/logrotate.d也已经包含了一些样例的配置文件供参考。

logrotate的配置和使用

如同刚才所说的，logrotate会每日CRON启动并执行，我们只需要在/etc/logrotate.d目录中添加我们需要的配置，就可以利用logrotate来自动管理我们需要的日志文件。

这里先来看一个目录下已经存在的样例配置dpkg：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 /var/log/dpkg .log { monthly rotate 12 compress delaycompress missingok notifempty create 644 root root } /var/log/alternatives .log { monthly rotate 12 compress delaycompress missingok notifempty create 644 root root }

正如其名称dpkg，这个配置是用来处理包管理器dpkg的默认日志的，处理的日志文件是/var/log/dpkg.log与/var/log/alternatives.log这两个文件

其配置内容如下：

monthly：按月处理日志
rotate 12：保留12份日志
compress：日志分割后会进行gzip压缩
delaycompress：日志压缩会被延后到下次分割时进行
missingok：目标日志文件不存在程序也不会报错退出
notifempty：目标日志文件为空时不进行分割操作
create 644 root root：以644也就是rw-r–r–权限来建立分割出来的文件，同时该分割文件所属用户为root，用户组为root

在/var/log下列出文件列表，可以看到dpkg的日志的确被分割并压缩了：

仿照这个样例文件，我们可以配置一个类似的处理任务，这里处理一下nginx的log文件，一般web serve的access log文件都是日志重灾区，建立一个/etc/logrotate.d/nginx配置文件，内容如下：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 /home/wwwlogs/ *.log { daily rotate 7 dateext compress delaycompress missingok notifempty create 644 root root sharedscripts postrotate kill -USR1 ` cat /usr/local/nginx/logs/nginx .pid` endscript }

与之前的样例配置类似，注意到声明日志文件位置时使用了*通配符，这意味着/home/wwwlogs/下的所有.log文件都会被logrotate处理，这里多出了几行配置

说明如下：

daily：每天处理日志
dateext：备份的日志文件的后缀不再是默认的.1 .2 .3的递增格式，而是.YYYYMMDD的日期格式
sharedscripts：配置该选项时，prerotate和postrotate段的脚本会在所有文件被处理结束（被处理前）统一执行，而不是每个文件前后分别执行一次
postrotate：处理日志后钩子，postrotate和endscript构成一个shell语句块，在日志文件被处理后这部分语句会被执行，对应的还有prerotate语句块

这样nginx的log文件的处理配置就完成了，但是我们可能还需要确认一下配置的内容到底是否正确呢，这时候可以利用logrotate命令行的debug选项来进行测试

命令如下：

1	`logrotate -d -f` `/etc/logrotate` `.d` `/nginx`

开启了debug选项时，logrotate会详细地给出处理日志过程中的处理信息，但是并不会真正地去处理日志文件，所以可以用来测试配置文件处理的是否正确

这行命令的输出如下：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 reading config file /etc/logrotate .d /nginx Handling 1 logs rotating pattern: /home/wwwlogs/ *.log forced from command line (7 rotations) empty log files are not rotated, old logs are removed considering log /home/wwwlogs/access .log log needs rotating considering log /home/wwwlogs/jp01 .sanaecon.com.log log needs rotating considering log /home/wwwlogs/nginx_error .log log needs rotating rotating log /home/wwwlogs/access .log, log->rotateCount is 7 dateext suffix '-20151108' glob pattern '-[0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9]' glob finding logs to compress failed glob finding old rotated logs failed rotating log /home/wwwlogs/jp01 .sanaecon.com.log, log->rotateCount is 7 dateext suffix '-20151108' glob pattern '-[0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9]' glob finding logs to compress failed glob finding old rotated logs failed rotating log /home/wwwlogs/nginx_error .log, log->rotateCount is 7 dateext suffix '-20151108' glob pattern '-[0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9]' glob finding logs to compress failed glob finding old rotated logs failed renaming /home/wwwlogs/access .log to /home/wwwlogs/access .log-20151108 creating new /home/wwwlogs/access .log mode = 0644 uid = 0 gid = 0 renaming /home/wwwlogs/jp01 .sanaecon.com.log to /home/wwwlogs/jp01 .sanaecon.com.log-20151108 creating new /home/wwwlogs/jp01 .sanaecon.com.log mode = 0644 uid = 0 gid = 0 renaming /home/wwwlogs/nginx_error .log to /home/wwwlogs/nginx_error .log-20151108 creating new /home/wwwlogs/nginx_error .log mode = 0644 uid = 0 gid = 0 running postrotate script running script with arg /home/wwwlogs/ *.log : " kill -USR1 ` cat /usr/local/nginx/logs/nginx .pid` "