避免redis雪崩的核心在于防止大量key同时失效并保护数据库不被压垮,具体方法包括:1.设置不同过期时间,在基础时间上增加随机数以分散失效时间;2.使用互斥锁确保只有一个请求查询数据库并更新缓存,其余请求等待;3.采用永不过期策略,通过后台异步线程定期更新数据;4.实施双key策略,利用更新时间key判断是否需异步更新;5.对数据库进行限流,控制访问频率;6.启用熔断机制,在数据库故障时阻止请求继续涌入;7.提供降级服务,在高负载时返回默认值或错误信息;8.部署多级缓存,结合本地缓存与redis降低数据库压力;9.实时监控redis和数据库的关键指标如cpu、内存、连接数等,并借助工具如prometheus+grafana及时预警和排查问题。
redis雪崩指的是在某个时间点,大量的缓存Key同时过期失效,导致大量请求直接打到数据库上,造成数据库压力过大甚至崩溃。解决雪崩的关键在于避免大量Key同时失效,以及在数据库压力过大时采取保护措施。
预防Redis雪崩,需要从缓存失效策略、数据库保护机制等多方面入手。
如何避免Redis雪崩?
避免Redis雪崩,核心在于避免大量Key同时失效,以及做好数据库的保护。下面将从多个角度详细阐述解决方案。
缓存失效策略:如何防止大量Key同时过期?
防止大量Key同时过期是预防雪崩的关键。以下是一些常用的策略:
-
设置不同的过期时间: 最简单的做法就是避免所有Key都设置相同的过期时间。可以在原始过期时间的基础上,加上一个小的随机数,例如expireTime + Random(expireRange)。这样可以分散Key的过期时间,避免集中失效。
import java.util.Random; public class RedisKeyGenerator { private static final Random random = new Random(); private static final int EXPIRE_RANGE = 300; // 随机过期时间范围,单位秒 public static String generateKey(String baseKey) { return baseKey + ":" + System.currentTimeMillis(); // 简单生成Key的方式 } public static int getExpireTime(int baseExpireTime) { return baseExpireTime + random.nextInt(EXPIRE_RANGE); } public static void main(String[] args) { String key = generateKey("product_info"); int baseExpireTime = 3600; // 基础过期时间,单位秒 int expireTime = getExpireTime(baseExpireTime); System.out.println("Key: " + key); System.out.println("过期时间(秒): " + expireTime); // 假设这里是将Key和过期时间设置到Redis中 } }
-
互斥锁(Mutex): 当缓存失效时,不是所有的请求都去查询数据库,而是只允许一个请求去查询数据库,并将结果写入缓存,其他请求等待缓存更新后直接读取缓存。
import redis.clients.jedis.Jedis; import redis.clients.jedis.JedisPool; import redis.clients.jedis.JedisPoolConfig; public class MutexCache { private static final String LOCK_KEY = "product_info_lock"; private static final int LOCK_EXPIRE_TIME = 5; // 锁的过期时间,单位秒 private static JedisPool jedisPool; static { JedisPoolConfig config = new JedisPoolConfig(); config.setMaxTotal(100); config.setMaxIdle(50); config.setMinIdle(10); jedisPool = new JedisPool(config, "localhost", 6379); } public static String getProductInfo(String productId) { Jedis jedis = null; String productInfo = null; try { jedis = jedisPool.getResource(); productInfo = jedis.get("product_info:" + productId); if (productInfo == null) { // 尝试获取锁 String lock = jedis.set(LOCK_KEY, "locked", "NX", "EX", LOCK_EXPIRE_TIME); if ("OK".equals(lock)) { try { // 获取到锁,查询数据库 productInfo = queryProductInfoFromDB(productId); if (productInfo != null) { jedis.set("product_info:" + productId, productInfo, "EX", 3600); // 设置缓存 } } finally { // 释放锁 jedis.del(LOCK_KEY); } } else { // 没有获取到锁,等待一段时间后重试 Thread.sleep(50); return getProductInfo(productId); // 递归调用 } } } catch (Exception e) { e.printStackTrace(); } finally { if (jedis != null) { jedis.close(); } } return productInfo; } private static String queryProductInfoFromDB(String productId) { // 模拟从数据库查询商品信息 try { Thread.sleep(100); // 模拟数据库查询耗时 } catch (InterruptedException e) { e.printStackTrace(); } return "Product Info for ID: " + productId; } public static void main(String[] args) { String productId = "123"; String productInfo = getProductInfo(productId); System.out.println("Product Info: " + productInfo); } }
-
永不过期: 不设置过期时间,而是通过后台异步线程定期更新缓存。这种方式可以保证缓存一直可用,但需要考虑数据一致性的问题。
-
双Key策略: 使用两个Key,一个用于缓存数据,另一个用于记录缓存的更新时间。当缓存即将过期时,使用更新时间Key判断是否需要异步更新缓存。
数据库保护:如何避免大量请求压垮数据库?
即使采取了缓存失效策略,仍然需要考虑数据库的保护,以应对突发情况。
-
限流: 对访问数据库的请求进行限流,避免大量请求同时涌入数据库。可以使用guava RateLimiter、sentinel等工具实现限流。
-
熔断: 当数据库出现故障时,熔断机制可以阻止请求访问数据库,避免数据库被压垮。可以使用hystrix、Sentinel等工具实现熔断。
-
降级: 当数据库压力过大时,可以提供降级服务,例如返回默认值或错误信息,而不是查询数据库。
-
多级缓存: 使用多级缓存,例如本地缓存(Guava Cache、Caffeine) + Redis缓存。当Redis缓存失效时,可以先从本地缓存中获取数据,减轻数据库的压力。
如何监控Redis和数据库的运行状态?
监控是及时发现和解决问题的关键。需要监控以下指标:
-
Redis的CPU、内存、网络带宽使用率。
-
Redis的Key的数量、过期Key的数量。
-
数据库的CPU、内存、IO使用率。
-
数据库的连接数、慢查询日志。
可以使用Prometheus + Grafana等工具进行监控。
总之,预防Redis雪崩是一个综合性的问题,需要从缓存失效策略、数据库保护机制、监控等方面入手,才能有效地避免雪崩的发生。没有一劳永逸的方案,需要根据实际情况选择合适的策略,并不断优化和调整。