博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
redis过期键删除策略 雪崩
阅读量:3739 次
发布时间:2019-05-22

本文共 7024 字,大约阅读时间需要 23 分钟。

如果一个键过期了,那么它什么时候会被删除呢?

这个问题有三种可能的答案,它们分别代表了三种不同的删除策略:
定时删除:在设置键的过期时间的同时,创建一个定时器( timer ). 让定时器在键的过期时间来临时,立即执行对键的删除操作。
惰性删除:放任键过期不管,但是每次从键空间中获取键时,都检查取得的键是否过期,如果过期的话,就删除该键;如果没有过期,就返回该键。
定期删除: 每隔一段时间,程序就对数据库进行一次检查,删除里面的过期键。至于要删除多少过期键,以及要检查多少个数据库, 则由算法决定。
在这三种策略中,第一种和第三种为主动删除策略, 而第二种则为被动删除策略。

定时删除

定时删除策略对内存是最友好的:通过使用定时器,定时删除策略可以保证过期键会尽可能快地被删除,并释放过期键所占用的内存。另一方面,定时删除策略的缺点是,它对CPU 时间是最不友好的:在过期键比较多的情况下,删除过期键这一行为可能会占用相当一部分CPU 时间,在内存不紧张但是CPU 时间非常紧张的情况下.将CPU 时间用在删除和当前任务无关的过期键上,无疑会对服务器的响应时间和吞吐量造成影响。

例如,如果正有大量的命令请求在等待服务器处理,并且服务器当前不缺少内存,那么服务器应该优先将CPU 时间用在处理客户端的命令请求上面,而不是用在删除过期键上面。除此之外,创建一个定时器需要用到Redis 服务器中的时间事件,而当前时间事件的实现方式一一无序链表,查找一个事件的时间复杂度为O(N)一并不能高效地处理大量时间事件。
因此,要让服务器创建大量的定时器,从而实现定时删除策略,在现阶段来说并不现实。

惰性删除

惰性删除策略对CPU 时间来说是最友好的:程序只会在取出键时才对键进行过期检查,这可以保证删除过期键的操作只会在非做不可的情况下进行, 并且删除的目标仅限于当前处理的键,这个策略不会在删除其他无关的过期键上花费任何CPU时间。

惰性删除策略的缺点是,它对内存是最不友好的: 如果一个键已经过期,而这个键又仍然保留在数据库中,那么只要这个过期键不被删除,它所占用的内存就不会释放。在使用惰性删除策略时,如果数据库中有非常多的过期键,而这些过期键又恰好没有被访问到的话,那么它们也许永远也不会被删除(除非用户手动执行FLUSHDB),我们甚至可以将这种情况看作是一种内存泄漏一一无用的垃圾数据占用了大量的内存,而服务器却不会自己去释放它们,这对于运行状态非常依赖于内存的Redis服务器来说,肯定不是一个好消息。
举个例子,对于一些和时间有关的数据,比如日志(log) ,在某个时间点之后,对它们的访问就会大大减少,甚至不再访问,如果这类过期数据大量地积压在数据库中,用户以为服务器已经自动将它们删除了,但实际上这些键仍然存在, 而且键所占用的内存也没有释放,那么造成的后果肯定是非常严重的。

定期删除

从上面对定时删除和惰性删除的讨论来看,这两种删除方式在单一使用时都有明显的缺陷:

定时删除占用太多CPU 时间,影响服务器的响应时间和吞吐量。惰性删除浪费太多内存,有内存泄漏的危险。
定期删除策略是前两种策略的一种整合和折中:

定期删除策略每隔一段时间执行一次删除过期键操作,并通过限制删除操作执行的时长和频率来减少删除操作对CPU 时间的影响。除此之外,通过定期删除过期键,定期删除策略有效地减少了因为过期键而带来的内存浪费。定期删除策略的难点是确定删除操作执行的时长和频率:

如果删除操作执行得太频繁,或者执行的时间太长,定期删除策略就会退化成定时删除策略,以至于将C P U 时间过多地消耗在删除过期键上面。
如果删除操作执行得太少,或者执行的时间太短,定期删除策略又会和惰性删除策略一样,出现浪费内存的情况。
因此,如果采用定期删除策略的话,服务器必须根据情况,合理地设置删除操作的执行时长和执行频率。

Redis 的过期键删除策略

我们讨论了定时删除、惰性删除和定期删除三种过期键删除策略, Redis服务器实际使用的是惰性删除和定期删除两种策略: 通过配合使用这两种删除策略,服务器可以很好地在合理使用CPU时间和避免浪费内存空间之间取得平衡。

接下来我们将对Redis服务器中惰性删除和定期删除的具体实现进行说明。

惰性删除策略的实现

过期键的惰性删除策略由db.c/expirelfNeeded 函数实现,所有读写数据库的Redis命令在执行之前都会调用expirelfNeeded 函数对输入键进行检查:

如果输入键已经过期,那么expirelfNeeded 函数将输入键从数据库中删除。

如果输入键未过期, 那么expirelfNeeded 函数不做动作。
命令调用expirelfNeeded 函数的过程如图9- 15 所示。
expirelfNeeded 函数就像一个过滤器,它可以在命令真正执行之前,过搜、掉过期的输入键,从而避免命令接触到过期键。
另外,因为每个被访问的键都可能因为过期而被expirelfNeeded 函数删除,所以每个命令的实现函数都必须能同时处理键存在以及键不存在这两种情况:
当键存在时,命令按照键存在的情况执行。
当键不存在或者键因为过期而被expirelfNeeded 函数删除时,命令按照键不存在的情况执行。
举个例子,图9-16展示了GET 命令的执行过程,在这个执行过程中,命令需要判断键是否存在以及键是否过期,然后根据判断来执行合适的动作

定期删除策略的实现

过期键的定期删除策略由redis.c/activeExpireCycle 函数实现,每当Redis 的

服务器周期性操作redis.c/serverCron 函数执行时,activeExpireCycle 函数就会被调用, 它在规定的时间内,分多次遍历服务器中的各个数据库,从数据库的expires 字
典中随机检查一部分键的过期时间,并删除其中的过期键。

整个过程可以用伪代码描述如下:

 

#默认每次检查的数据库数量DEFAULT_DB_NUMBERS = 16#默认每个数据库检查的键数量DEFAULT_KEY_NUMBERS = 20#全局变量,记录检查进度current_db = 0def activeExpireCycle():#初始化要检查的数据库数量#如果服务榕的数据库数量比DEFAULT DB NUMBERS 要小#那么以服务器的数据库数量为准if server.dbnum < DEFAULT_DB_NUMBERS :db_numbers = server.dbnumelse :db_numbers = DEFAULT_DB_NUMBERS#遍历各个数据库for i in range(db_numbers) :#如果current_db 的值等于服务榕的数据库数量#这表示检查程序已经遍历了服务榕的所有数据库一次#将current_db重置为0 ,开始新的一轮遍历if current_db == server.dbnum:current_db = 0#获取当前要处理的数据库redisDB = server.db[current db)#将数据库索引增1 ,指向下一个要处理的数据库current_db += 1#检查数据库键for j in range(DEFAULT_KEY_NUMBERS):#如果数据库中没有一个键带有过期时间,那么跳过这个数据库if redisDB.expires.size () == 0: break# 随机获取一个带有过期时间的键key with_ttl = redisDb.expires.get_random_key ()#检查键是否过期,如果过期就删除它if is_expired (key with ttl):delete_key (key_with_ttl )#已达到时间上限,停止处理if reach_time_limit(): return

 

activeExpireCycle 函数的工作模式可以总结如下:

  函数每次运行时,都从一定数量的数据库中取出一定数量的随机键进行检查, 并删除其中的过期键。

全局变量current db 会记录当前activeExpireCycle 函数检查的进度,并在下一次activeExpireCycle 函数调用时,接着上一次的进度进行处理。比如说,如果当前activeExpireCycle 函数在遍历10 号数据库时返回了,那么下次activeExpireCycle 函数执行时,将从11号数据库开始查找并删除过期键。

   随着activeExpireCycle函数的不断执行,服务器中的所有数据库都会被检查一遍,这时函数将current_db变量重置为0,然后再次开始新一轮的检查工作。

 

 

一:设置过期时间

redis有四种命令可以用于设置键的生存时间和过期时间:

        EXPIRE 
: 将键的生存时间设为 ttl 秒        PEXPIRE
:将键的生存时间设为 ttl 毫秒        EXPIREAT
:将键的过期时间设为 timestamp 所指定的秒数时间戳        PEXPIREAT
: 将键的过期时间设为 timestamp 所指定的毫秒数时间戳.

二:保存过期时间

那么redis里面对这些key的过期时间和生存时间的信息是怎么保存的呢??

答:在数据库结构redisDb中的expires字典中保存了数据库中所有键的过期时间,我们称expire这个字典为过期字典。
(1)过期字典是一个指针,指向键空间的某个键对象。
(2)过期字典的值是一个longlong类型的整数,这个整数保存了键所指向的数据库键的过期时间–一个毫秒级的 UNIX 时间戳。

下图是一个带过期字典的数据库例子:

Paste_Image.png

过期字典是存储在redisDb这个结构里的:

    typedef struct redisDb {        ...                dict *dict;     //数据库键空间,保存着数据库中所有键值对        dict *expires      // 过期字典,保存着键的过期时间        ...    } redisDb;

从以上结构中可以看到expire字典(过期字典)和dict字典(数据库键空间,保存着数据库中所有键值对)是并列的,由此可见expire字典的重要性。

三:移除过期时间

PERSIST 命令可以移除一个键的过期时间:

    127.0.0.1:6379> set message "hello"    OK    127.0.0.1:6379> expire message 60    (integer) 1    127.0.0.1:6379> ttl message    (integer) 54    127.0.0.1:6379> persist message    (integer) 1    127.0.0.1:6379> ttl message    (integer) -1

persist命令就是expire命令的反命令,这个函数在过期字典中查找给定的键,并从过期字典中移除。

比如在数据库当前状态(如上图所示),当给book这个key移除过期时间:

    redis> persist book    (integer) 1

数据库将更新成如下状态:

Paste_Image.png

可以从图中看到,当PERSIST book命令执行之后,过期字典中的 book 键消失了。

四:计算并返回剩余生存时间

ttl命令以秒为单位返回指定键的剩余生存时间。pttl以毫秒返回。两个命令都是通过计算当前时间和过期时间的差值得到剩余生存期的。

    127.0.0.1:6379> set minping shuxin    OK    127.0.0.1:6379> expire minping 60    (integer) 1    127.0.0.1:6379> ttl minping    (integer) 57    127.0.0.1:6379> ttl minping    (integer) 27    127.0.0.1:6379> pttl minping    (integer) 23839    127.0.0.1:6379>

redis源码为:

    void ttlCommand(redisClient *c) {        ttlGenericCommand(c, 0);    }    void pttlCommand(redisClient *c) {        ttlGenericCommand(c, 1);    }    void ttlGenericCommand(redisClient *c, int output_ms) {        long long expire, ttl = -1;        /* 如果键不存在,返回-2 */        if (lookupKeyRead(c->db,c->argv[1]) == NULL) {            addReplyLongLong(c,-2);            return;        }                /* 如果键存在*/        /*如果没有设置生存时间,返回 -1, 否则返回实际剩余时间 */        expire = getExpire(c->db,c->argv[1]);        if (expire != -1) {            /* 过期时间减去当前时间,就是键的剩余时间*/            ttl = expire-mstime();            if (ttl < 0) ttl = 0;        }        if (ttl == -1) {            addReplyLongLong(c,-1);        } else {             /*将毫秒转化为秒*/            addReplyLongLong(c,output_ms ? ttl : ((ttl+500)/1000));        }    }

五:过期键的删除策略

如果一个键是过期的,那它到了过期时间之后是不是马上就从内存中被被删除呢??如果不是,那过期后到底什么时候被删除呢??

其实有三种不同的删除策略:

(1):立即删除。在设置键的过期时间时,创建一个回调事件,当过期时间达到时,由时间处理器自动执行键的删除操作。
(2):惰性删除。键过期了就过期了,不管。每次从dict字典中按key取值时,先检查此key是否已经过期,如果过期了就删除它,并返回nil,如果没过期,就返回键值。
(3):定时删除。每隔一段时间,对expires字典进行检查,删除里面的过期键。
可以看到,第二种为被动删除,第一种和第三种为主动删除,且第一种实时性更高。下面对这三种删除策略进行具体分析。
立即删除

立即删除能保证内存中数据的最大新鲜度,因为它保证过期键值会在过期后马上被删除,其所占用的内存也会随之释放。但是立即删除对cpu是最不友好的。因为删除操作会占用cpu的时间,如果刚好碰上了cpu很忙的时候,比如正在做交集或排序等计算的时候,就会给cpu造成额外的压力。

而且目前redis事件处理器对时间事件的处理方式--无序链表,查找一个key的时间复杂度为O(n),所以并不适合用来处理大量的时间事件。

惰性删除

惰性删除是指,某个键值过期后,此键值不会马上被删除,而是等到下次被使用的时候,才会被检查到过期,此时才能得到删除。所以惰性删除的缺点很明显:浪费内存。dict字典和expires字典都要保存这个键值的信息。

举个例子,对于一些按时间点来更新的数据,比如log日志,过期后在很长的一段时间内可能都得不到访问,这样在这段时间内就要拜拜浪费这么多内存来存log。这对于性能非常依赖于内存大小的redis来说,是比较致命的。

定时删除

从上面分析来看,立即删除会短时间内占用大量cpu,惰性删除会在一段时间内浪费内存,所以定时删除是一个折中的办法。

定时删除是:每隔一段时间执行一次删除操作,并通过限制删除操作执行的时长和频率,来减少删除操作对cpu的影响。另一方面定时删除也有效的减少了因惰性删除带来的内存浪费。
六:redis使用的策略

redis使用的过期键值删除策略是:惰性删除加上定期删除,两者配合使用。

原文:https://blog.csdn.net/jiangchunhui2009/article/details/81504073 
 

你可能感兴趣的文章
BootStrap的全局CSS样式(按钮、图片、表格、表单)
查看>>
BootStrap组件:导航条和分页条和插件: 轮播图
查看>>
jQuery的概念与核心函数$的理解
查看>>
jQuery 对象和 dom 对象
查看>>
jQuery 选择器——基本选择器
查看>>
jQuery 选择器——层级选择器
查看>>
jQuery 选择器——过滤选择器
查看>>
Vue-cli安装及使用
查看>>
jQuery选择器——jQuery 元素筛选
查看>>
jQuery 的属性操作
查看>>
jQuery中DOM 的增删改
查看>>
jQuery中CSS 样式操作
查看>>
jQuery 动画
查看>>
jQuery 事件操作
查看>>
Git的安装与卸载
查看>>
JavaWeb的概念
查看>>
TomCat的使用与安装
查看>>
Webpack学习
查看>>
IDEA 整合 Tomcat 服务器
查看>>
IDEA 中动态 web 工程的操作
查看>>