Linux日志管理神器之Logrotate日志分割,以及crontab定时轮询
有些服务,会自动产生大量的日志文件,如果不限制,会占用磁盘空间。
如果单纯的用定时任务crontab删除,又不太灵活,这时需要日志神器logrotate。
logrotate工具是系统自带为了方便进行日志管理而产生的一个工具。
系统会定时运行 logrotate,一般是每天一次。也是基于定时任务crontab运行的。
配置文件:
主配置文件的位置在 /etc/logrotate.conf,一般配置在 /etc/logrotate.d/子目录下。
如系统默认日志配置:
配置文件参数:
更多信息请参考man logrotate帮助文档
模板是通用的,而配置参数则根据你的需求进行调整,不是所有的参数都是必要的。
在上面的配置文件中,我们只想要轮询一个日志文件,size=50M 指定日志文件大小可以增长到 50MB,dateext 指 示让旧日志文件以创建日期命名。
可自行参考/etc/logrotate.d/目录下系统默认的文件。
logrotate命令:
具体 logrotate 命令格式如下:
要为某个特定的配置调用 logrotate:
排障过程中的最佳选择是使用-d选项以预演方式运行 logrotate。要进行验证,不用实际轮循任何日志文件, 可以模拟演练日志轮循并显示其输出。
正如我们从上烂闹面的输出结果可以看到的,logrotate 判断该轮循是不必要的。如果文件的时间小于一天,就会发生了。
强制轮循即使轮循条件没有满足,我饥戚罩们也可以通过使用-f选项来强制 logrotate 轮循日志文件,-v参数提供了详细的输出。
个人项目配置:
项目每天可产生20G左右的日志,显示不能做每日轮询,所以额外需要添加定时任务做每小时,或者每隔多少分钟。
如果轮询日志异常报错如下:
error: skipping “” because parent directory has insecure permissions (It’s world writable or writable by group which is not “root”) Set “su” directive in config file to tell logrotate which user/group should be used for rotation.”
需要加 su root root 选项。
同时添加定时任务:
定时任务说明:
第一条,每隔40分钟轮询执行一次logrotate任务。
第二条,每天凌晨4点删除前一天的日志,原因如下:
由于项目系统产生日志格式的原因,会导致以下情况:
如果昨天的分割仔燃到4个后(或者1,2,3),时间到第二天后,没法转储递增,会一直停留在4,没法删除,每天会有,久而久之,也会占用磁盘空间。所以需要定时删除。
设置完成
开启定时任务日志,以便查看定时任务是否执行。后续可取消。
重启rsyslog
请大家帮忙推荐几款好的工作日志软件!
记录工作日志的软件,可以实现多端同步的,可以试试敬猜悔大业签。
目前敬业签上线的端口有Windows端、ios端、Android端、Web端、ipad端,无论在任何一端进行记录的内容,都可以随时保存在云端,登录其他端可以同步显示。
手机电脑都可以安装,小界面支持随穗竖时打开编辑待办事项,非常的方便实用。
针对记录的内容可以设定按时提醒、间隔时间提醒、前汪循环提醒等
还可以按照天、周、月、季、年进行重复提醒
可以绑定微信接收消息推送通知
Graylog日志管理介绍——系列(一)
Graylog是一个开源的完整的日志管理工具,功能和ELK类似,但又比ELK要简单,相对ELK也有自己的优势,不足之处大概就是扩展性没有ELK架构好。这篇文章里对两者做了一些比较,大家可以参考。 Graylog2.2详细部署安装
最吸引我的大概就是对多行日志的处理了。同时,由于Graylog部署起来相对简单,芦裤很适合规模不大的情况下使用。当然,这不是说Graylog功能不强大,相反,其支持多种数据收集方式,提供一些统计功能、日志的持久化、简单的告警和对外接口,UI也比较友好。
引用下官网的两张图。
从图中我们可以看到,大体上包括Elasticsearch、MongoDb和Graylog三部分,功能上一目了然,就不用多说了。需要注意的是,最新版的Graylog已经仔枝可以支持Elasticsearch 5.x版本了。
下面是一张比较完整的架构图。
Graylog提供的安装方式多种多样。最简单的就是利用官方提供的ovf模板导入,瞬间就安装好了,对我等懒(xiao)人陪戚简(bai)十分友好,也支持Dock和各种手动安装方式。
Graylog有开源版本,官方也提供了企业版供土豪们使用,企业版提供了自动归档和日志审核两个高级功能和一些技术服务支持。
相关介绍:
官网
Graylog服务器搭建手册,你的私人log服务器
还木有评论哦,快来抢沙发吧~