日志文件过大会占用磁盘空间，影响系统性能并可能导致服务崩溃。解决方法包括：1. 使用 golang 标准库 log 结合 os 包实现按日期分割日志，但需手动压缩和清理；2. 使用第三方库 lumberjack 实现自动按大小或时间分割、保留备份、压缩等功能；3. 结合 logrus 与 lumberjack 输出结构化日志并管理日志文件；4. 利用系统工具 logrotate 配置日志分割和压缩，无需修改代码；5. 在 docker 中使用日志驱动如 json-file、syslog 或 fluentd 管理容器日志；6. 使用监控工具、脚本定期检查日志文件大小，防止磁盘空间耗尽。这些方法可有效管理日志，保持系统稳定。
日志文件过大，会占用磁盘空间，影响系统性能，甚至导致服务崩溃。解决的关键在于日志分割（rotate）和压缩，定期清理旧日志，保持系统稳定。
日志分割与压缩方案：
使用标准库 log 实现简单的日志分割
golang标准库 log 功能有限，但可以结合 os 包实现简单的按日期分割。
立即学习“go语言免费学习笔记（深入）”；
package main import ( "fmt" "log" "os" "time" ) func main() { now := time.Now() logFileName := fmt.Sprintf("app_%d-%02d-%02d.log", now.Year(), now.Month(), now.Day()) logFile, err := os.OpenFile(logFileName, os.O_CREATE|os.O_WRONLY|os.O_APPEND, 0666) if err != nil { log.Fatalf("Failed to open log file: %v", err) } defer logFile.Close() log.SetOutput(logFile) log.SetFlags(log.Ldate | log.Ltime | log.Lshortfile) log.Println("This is a log message.") }
这个方法每天生成一个新日志文件，但没有自动压缩和清理功能。需要手动或通过脚本实现。
使用第三方库 lumberjack 进行更高级的日志管理
lumberjack 是一个流行的 Golang 日志切割库，提供更丰富的功能，例如：
- 按文件大小分割
- 按时间分割
- 保留旧日志数量限制
- 压缩旧日志
package main import ( "log" "gopkg.in/natefinch/lumberjack.v2" ) func main() { logger := &lumberjack.Logger{ Filename: "./app.log", // 日志文件路径 MaxSize: 100, // 每个日志文件最大 size，单位是 MB MaxBackups: 5, // 最大保留旧日志文件数量 MaxAge: 30, // 保留旧日志文件的最大天数 Compress: true, // 是否压缩/归档旧日志文件 } log.SetOutput(logger) log.SetFlags(log.Ldate | log.Ltime | log.Lshortfile) log.Println("This is a log message.") // 可以在程序退出时关闭 lumberjack // defer logger.Close() // 实际上 lumberjack 会自动处理 close }
lumberjack 使用简单，配置灵活，可以满足大多数应用场景的日志管理需求。注意 Filename 可以是相对路径或绝对路径。
使用 logrus 结合 lumberjack 实现结构化日志和日志分割
logrus 是一个结构化日志库，方便输出 JSON 格式的日志，方便后续分析。它可以与 lumberjack 结合使用。
package main import ( "log" "github.com/sirupsen/logrus" "gopkg.in/natefinch/lumberjack.v2" "os" ) func main() { // 初始化 lumberjack lumberjackLogger := &lumberjack.Logger{ Filename: "./app.log", MaxSize: 100, MaxBackups: 5, MaxAge: 30, Compress: true, } // 初始化 logrus logrusLogger := logrus.New() logrusLogger.SetOutput(lumberjackLogger) logrusLogger.SetFormatter(&logrus.JSONFormatter{}) // 输出 JSON 格式 // 设置 logrus 的默认 logger log.SetOutput(logrusLogger.Writer()) // 将标准 log 重定向到 logrus log.SetFlags(0) // 禁用标准 log 的 flags，避免重复输出 logrusLogger.WithFields(logrus.Fields{ "component": "main", "action": "start", }).Info("Application started") log.Println("This is a log message from standard log.") // 会被 logrus 处理 logrusLogger.Info("This is a log message from logrus.") }
这种方式的优势在于既可以享受 logrus 的结构化日志，又可以利用 lumberjack 的日志分割和压缩功能。logrusLogger.Writer() 返回一个 io.Writer，可以被标准库 log 使用，实现统一的日志管理。
使用系统自带的 logrotate 工具
linux 系统自带 logrotate 工具，可以对任何日志文件进行分割和压缩。只需要编写一个 logrotate 配置文件即可。
例如，创建一个 /etc/logrotate.d/myapp 文件，内容如下：
/path/to/your/app.log { daily rotate 7 compress delaycompress missingok notifempty create 644 root root }
这个配置表示：
- 每天分割日志
- 保留 7 个旧日志
- 压缩旧日志
- 延迟压缩，避免正在写入的日志被压缩
- 如果日志文件不存在，忽略错误
- 如果日志文件为空，不进行分割
- 创建新日志文件，权限为 644，所有者为 root，所属组为 root
这种方式的优点是简单易用，不需要修改代码。缺点是需要手动配置，并且无法实现结构化日志。
Golang 应用如何与 docker 日志驱动配合？
Docker 提供了多种日志驱动，例如 json-file、syslog、fluentd 等。如果应用运行在 Docker 容器中，可以利用 Docker 的日志驱动进行日志管理。
例如，使用 json-file 驱动，Docker 会将容器的 stdout 和 stderr 输出写入 JSON 文件。可以使用 docker logs 命令查看日志。
如果需要更高级的日志管理，可以使用 syslog 或 fluentd 驱动，将日志发送到远程服务器进行集中管理。
使用 Docker 日志驱动的优点是方便管理，不需要在应用中进行额外的配置。缺点是性能可能不如直接写入文件，并且无法实现结构化日志。
如何监控日志文件大小，防止磁盘空间耗尽？
监控日志文件大小，防止磁盘空间耗尽，是运维的重要环节。可以使用多种工具进行监控：
- 磁盘监控工具： 例如 df 命令、du 命令，可以定期检查磁盘空间使用情况。
- 监控系统： 例如 prometheus、grafana、zabbix，可以配置告警规则，当磁盘空间使用率超过阈值时发送告警。
- 脚本： 可以编写脚本定期检查日志文件大小，如果超过阈值，则进行处理（例如分割、压缩、删除）。
一个简单的 Shell 脚本示例：
#!/bin/bash LOG_FILE="/path/to/your/app.log" MAX_SIZE=100 # MB file_size=$(du -m "$LOG_FILE" | awk '{print $1}') if [ "$file_size" -gt "$MAX_SIZE" ]; then echo "Log file size exceeds threshold: $file_size MB" # 进行日志分割、压缩等操作 gzip "$LOG_FILE" fi
这个脚本定期检查日志文件大小，如果超过 100MB，则进行压缩。可以将这个脚本添加到 crontab 中，定期执行。
