日志管理工具（日志管理功能）

Graylog日志管理介绍——系列（一）

Graylog是一个开源的完整的日志管理工具，功能和ELK类似，但又比ELK要简单，相对ELK也有自己的优势，不足之处大概就是扩展性没有ELK架构好。这篇文章里对两者做了一些比较，大家可以参考。 Graylog2.2详细部署安装

最吸引我的大概就是对多行日志的处理了。同时，由于Graylog部署起来相对简单，芦裤很适合规模不大的情况下使用。当然，这不是说Graylog功能不强大，相反，其支持多种数据收集方式，提供一些统计功能、日志的持久化、简单的告警和对外接口，UI也比较友好。

引用下官网的两张图。

从图中我们可以看到，大体上包括Elasticsearch、MongoDb和Graylog三部分，功能上一目了然，就不用多说了。需要注意的是，最新版的Graylog已经仔枝可以支持Elasticsearch 5.x版本了。

下面是一张比较完整的架构图。

Graylog提供的安装方式多种多样。最简单的就是利用官方提供的ovf模板导入，瞬间就安装好了，对我等懒（xiao）人陪戚简（bai）十分友好,也支持Dock和各种手动安装方式。

Graylog有开源版本，官方也提供了企业版供土豪们使用，企业版提供了自动归档和日志审核两个高级功能和一些技术服务支持。

相关介绍：

官网

Graylog服务器搭建手册，你的私人log服务器

Linux日志管理神器之Logrotate日志分割，以及crontab定时轮询

有些服务，会自动产生大量的日志文件，如果不限制，会占用磁盘空间。

如果单纯的用定时任务crontab删除，又不太灵活，这时需要日志神器logrotate。

logrotate工具是系统自带为了方便进行日志管理而产生的一个工具。

系统会定时运行 logrotate，一般是每天一次。也是基于定时任务crontab运行的。

配置文件：

主配置文件的位置在 /etc/logrotate.conf，一般配置在 /etc/logrotate.d/子目录下。

如系统默认日志配置：

配置文件参数：

更多信息请参考man logrotate帮助文档

模板是通用的，而配置参数则根据你的需求进行调整，不是所有的参数都是必要的。

在上面的配置文件中，我们只想要轮询一个日志文件，size=50M 指定日志文件大小可以增长到 50MB,dateext 指 示让旧日志文件以创建日期命名。

可自行参考/etc/logrotate.d/目录下系统默认的文件。

logrotate命令：

具体 logrotate 命令格式如下：

要为某个特定的配置调用 logrotate：

排障过程中的最佳选择是使用-d选项以预演方式运行 logrotate。要进行验证，不用实际轮循任何日志文件， 可以模拟演练日志轮循并显示其输出。

正如我们从上烂闹面的输出结果可以看到的，logrotate 判断该轮循是不必要的。如果文件的时间小于一天，就会发生了。

强制轮循即使轮循条件没有满足，我饥戚罩们也可以通过使用-f选项来强制 logrotate 轮循日志文件，-v参数提供了详细的输出。

个人项目配置：

项目每天可产生20G左右的日志，显示不能做每日轮询，所以额外需要添加定时任务做每小时，或者每隔多少分钟。

如果轮询日志异常报错如下：

error: skipping “” because parent directory has insecure permissions (It’s world writable or writable by group which is not “root”) Set “su” directive in config file to tell logrotate which user/group should be used for rotation.”

需要加 su root root 选项。

同时添加定时任务：

定时任务说明：

第一条，每隔40分钟轮询执行一次logrotate任务。

第二条，每天凌晨4点删除前一天的日志，原因如下：

由于项目系统产生日志格式的原因，会导致以下情况:

如果昨天的分割仔燃到4个后（或者1，2，3），时间到第二天后，没法转储递增，会一直停留在4，没法删除，每天会有，久而久之，也会占用磁盘空间。所以需要定时删除。

设置完成

开启定时任务日志，以便查看定时任务是否执行。后续可取消。

重启rsyslog

[问与答].netlog4日志分析管理有什么好的工具吗?

netlog4日志分析管理的工具：

1、SolarWindsLogEventManager是Windows的日志分析工具，可提供集中的日志监控体验。该平台提供事件时间检测，帮助用户快速检测哪腔问题所在。由SolarWindsLogEventManager处理的数据在传输过程中会进行加密，未经授权无法读取。

2、PRTGNetworkMonitor是一个网络监控平台，包括Windows事件日志竖缓明传感器和Syslog接收传感器。Windows事件日志传感器监控Windows系统和应用日志文件，并显示日志消息的速率。该系统日志接收传感器记录的由设备在网络中发送的每秒系统日志文件的数量和过滤。过滤器是可自定义的，因此可以确定哪些活动将触发警报。

3、Papertrail是Windows的日志分析器，可自动扫描日志数据。扫描日志数据时，可以选择希望扫描结果显示的信息。例如，可以选择扫描是否包含IP地址，电子邮件地址，GUID/UUID，HTTP(s)URL，余告域，主机，文件名和引用文本。