linux日志集中管理可通过rsyslog实现，1.配置中心服务器启用udp/tcp接收日志，2.设置日志存储模板与路径，3.客户端配置转发日志至服务器，4.验证日志是否成功接收；为避免日志丢失，可1.改用tcp协议，2.配置磁盘缓冲参数，3.检查网络与防火墙，4.确保服务器资源充足；日志过滤与告警方面，1.使用Property-based filters按条件存储日志，2.加载ommail模块实现邮件告警；此外，替代工具包括syslog-ng、logstash、fluentd和graylog，适用于不同复杂度的日志管理需求。
linux日志集中管理，简单来说，就是把所有Linux服务器的日志都收集到一个地方，方便查看、分析和管理。
解决方案
实现Linux日志集中管理，通常会用到rsyslog。rsyslog是一个强大的日志处理系统，几乎所有的Linux发行版都默认安装了它。我们可以配置rsyslog，让它把本地日志转发到中心服务器，或者让中心服务器主动去收集各个客户端的日志。
-
配置中心服务器（Log Server）
首先，在一台Linux服务器上安装rsyslog（通常已经安装了）。然后，编辑/etc/rsyslog.conf文件。
找到以下两行，取消注释（移除前面的#）：
$ModLoad imudp $UDPServerRun 514 $ModLoad imtcp $InputTCPServerRun 514
这两行分别启用了UDP和TCP协议的日志接收功能。UDP效率高，但不可靠；TCP可靠，但效率稍低。根据你的需求选择。
接下来，添加一个规则，告诉rsyslog如何处理接收到的日志。例如，把所有客户端的日志都保存到/var/log/remote/目录下，可以添加如下配置：
$template RemoteLogs,"/var/log/remote/%HOSTNAME%/%PROGRAMNAME%.log" *.* ?RemoteLogs & ~
- $template RemoteLogs: 定义一个模板，用于指定日志文件的路径和名称。%HOSTNAME%表示客户端的主机名，%PROGRAMNAME%表示产生日志的程序名。
- *.* ?RemoteLogs: 表示接收所有级别的日志（*.*），并使用RemoteLogs模板进行处理。
- & ~: 表示停止进一步处理该日志，防止重复写入。
保存文件，重启rsyslog服务：
sudo systemctl restart rsyslog
如果防火墙开启了，需要允许UDP和TCP的514端口通过。
-
配置客户端（Log Client）
在需要发送日志的Linux服务器上，编辑/etc/rsyslog.conf文件。
在文件末尾添加一行，指定日志服务器的地址：
*.* @logserver_ip:514
或者，使用TCP协议：
*.* @@logserver_ip:514
logserver_ip替换为你的日志服务器的IP地址。@表示使用UDP，@@表示使用TCP。
保存文件，重启rsyslog服务：
sudo systemctl restart rsyslog
这样，客户端的日志就会被发送到日志服务器了。
-
验证配置
在客户端上产生一些日志，例如重启一个服务，然后在日志服务器上查看/var/log/remote/目录下是否生成了相应的日志文件。
如何解决rsyslog日志丢失问题？
日志丢失可能由多种原因导致，比如网络不稳定、服务器资源不足、配置错误等。
-
使用TCP协议：UDP协议是不可靠的，可能会丢包。切换到TCP协议可以提高可靠性，但会增加服务器的负担。
-
配置缓冲：rsyslog可以配置缓冲，在网络不稳定时，先把日志缓存起来，等网络恢复后再发送。在/etc/rsyslog.conf文件中，可以使用$ActionQueueMaxDiskSpace和$ActionQueueSaveOnShutdown等参数配置缓冲。
例如：
$ActionQueueType LinkedList $ActionQueueFileName fwdRule1 $ActionQueueMaxDiskSpace 1g $ActionQueueSaveOnShutdown on $ActionQueueHighWaterMark 8000 $ActionQueueLowWaterMark 2000 $ActionQueueSize 10000 *.* @@logserver_ip:514
-
检查防火墙和网络：确保客户端和服务器之间的防火墙允许UDP/TCP 514端口的流量通过。同时，检查网络连接是否稳定。
-
检查服务器资源：如果服务器的CPU、内存或磁盘空间不足，可能会导致rsyslog无法正常工作，从而丢失日志。
-
排查配置错误：仔细检查/etc/rsyslog.conf文件，确保配置正确。可以使用rsyslogd -N1命令检查配置文件的语法是否正确。
如何使用rsyslog进行日志过滤和告警？
rsyslog不仅可以收集日志，还可以对日志进行过滤和告警。
-
日志过滤
rsyslog使用property-based filters进行日志过滤。可以根据主机名、程序名、日志级别、日志内容等条件进行过滤。
例如，只收集来自webserver1主机的Error级别的日志：
if $hostname == 'webserver1' and $severity == 'error' then /var/log/webserver1_error.log & ~
-
日志告警
rsyslog可以使用ommail模块发送邮件告警。首先，需要安装rsyslog-mail包。
然后，配置/etc/rsyslog.conf文件。
$ModLoad ommail $ActionMailSMTPServer localhost $ActionMailSMTPPort 587 $ActionMailSMTPUser your_email@example.com $ActionMailSMTPPassword your_password $ActionMailFrom rsyslog@example.com $ActionMailTo alert@example.com $ActionMailSubject rsyslog Alert if $msg contains 'error' then :ommail:
- $ModLoad ommail: 加载ommail模块。
- $ActionMailSMTPServer: 指定SMTP服务器地址。
- $ActionMailSMTPPort: 指定SMTP服务器端口。
- $ActionMailSMTPUser: 指定SMTP服务器用户名。
- $ActionMailSMTPPassword: 指定SMTP服务器密码。
- $ActionMailFrom: 指定发件人地址。
- $ActionMailTo: 指定收件人地址。
- $ActionMailSubject: 指定邮件主题。
- if $msg contains ‘error’ then :ommail:: 表示如果日志内容包含error，则发送邮件。
重启rsyslog服务后，当日志中出现error时，就会收到邮件告警。
除了rsyslog，还有哪些Linux日志管理工具？
除了rsyslog，还有一些其他的Linux日志管理工具，例如：
- syslog-ng: 与rsyslog类似，也是一个强大的日志处理系统。它提供了更多的配置选项和更灵活的过滤规则。
- Logstash: 一个开源的数据收集引擎，可以收集、解析和存储各种类型的日志。它通常与elasticsearch和Kibana一起使用，构建强大的日志分析平台。
- Fluentd: 另一个开源的数据收集器，与Logstash类似，但更轻量级，更易于部署和管理。
- Graylog: 一个开源的日志管理平台，提供了日志收集、存储、分析和告警等功能。它基于Elasticsearch构建，可以处理大量的日志数据。
选择哪个工具取决于你的具体需求和技术栈。rsyslog和syslog-ng适合简单的日志集中管理，而Logstash、Fluentd和Graylog适合构建更复杂的日志分析平台。
