go异步 任务队列可用 channel+goroutine 实现:定义含 ID、函数、参数、超时的 Task 结构体 ,用带缓冲 channel 作队列,启动固定 worker goroutine 池 并发 执行并 recover 防 panic。

用 Go 实现 异步任务 队列,核心在于解耦任务生产与执行、保障可靠投递、支持并发处理,同时避免过度依赖外部 中间件。不一定要上 redis 或 rabbitmq,轻量级场景下纯 Go 就能做得干净高效。
用 channel + goroutine 搭建基础任务队列
适合低并发、内存可控、无需持久化的内部任务(如日志归档、通知触发)。关键点是控制 goroutine 数量,防止资源耗尽。
- 定义任务结构体,含唯一 ID、执行函数、参数、超时等字段
- 用带缓冲的 channel 作为任务队列(例如
chan Task),缓冲大小设为合理上限(如 1000) - 启动固定数量 worker goroutine,每个 循环 从 channel 取任务并执行;建议加 recover 防止单个 panic 停掉整个 worker
- 生产者调用
queue 即可,非阻塞或配合 select + default 做背压处理
加入任务状态追踪与重试机制
纯 channel 无法记录执行结果或失败重试。需引入内存状态管理(如 sync.Map)或简单持久化(如 SQLite、BoltDB)。
- 任务入队时生成 UUID,存入 map[taskID]status,初始状态为“queued”
- worker 执行前更新为“running”,成功后设为“success”,panic 或 error 则设为“failed”并触发重试逻辑(如延迟 1s 后重新入队,最多 3 次)
- 提供 HTTP 接口(如
GET /task/:id)供外部查询状态,返回 JSON 包含 status、result、error、created_at 等字段
对接 redis 实现分布式与持久化
当服务多实例部署、需任务不丢失、或任务量大时,用 Redis 的 List(LPUSH/BRPOP)或 Streams(XADD/XREAD)更稳妥。
立即学习“go 语言免费学习笔记(深入)”;
- 用 github.com/go-redis/redis/v9,任务序列化为 JSON 存入 Redis List,worker 使用 BRPOP 阻塞读取,避免轮询浪费 CPU
- 执行成功后调用 DEL 或设置过期时间清理元数据;失败任务可推入“retry:xxx”队列,配合定时器或单独 retry worker 处理
- 用 Redis 锁(SET key val NX EX 30)保障同一任务不被多个 worker 重复消费,尤其在幂等性难保证时很关键
用第三方库快速落地:Asynq 或 Machinery
业务上线时间紧、需监控告警、任务调度、Web UI 时,直接集成成熟方案更省心。
- Asynq(github.com/hibiken/asynq):纯 Go,基于 Redis,自带 Web 控制台(/asynq)、优先级队列、周期任务(Cron)、失败自动归档,API 简洁:
client.Enqueue(task)即可 - Machinery(github.com/RichardKnop/machinery):支持多种 broker(AMQP、Redis、GCPPubSub),适合已有消息系统的企业环境,但配置稍重
- 两者都提供中间件机制,方便插入日志、链路追踪、限流等逻辑,无需自己从零封装
不复杂但容易忽略:无论自研还是用库,务必为任务函数设计幂等性,比如通过业务单号去重、或先查 DB 状态再执行;否则重试可能引发重复扣款、重复发邮件等问题。
以上就是如何使用 golang 实现