Bootstrap

布隆(Bloom Filter)过滤器——全面讲解,建议收藏

本文已收录于专栏

??《Redis之大厂必备技能包》??

欢迎各位关注、三连博主的文章及专栏,全套Redis学习资料,大厂必备技能!


目录

1、什么是布隆过滤器

2、布隆过滤器的使用场景

3、布隆过滤器的原理

3.1 数据结构

3.2 空间计算

3.3 增加元素

3.4 查询元素

3.5 修改元素

3.6 删除元素

4、Redis集成布隆过滤器

4.1 版本要求

4.2 安装&编译

4.3 Redis集成

5、Redis中布隆过滤器指令使用

5.1 bf.add

5.2 bf.madd

5.3 bf.exists

5.3 bf.mexists

6、Java本地内存使用布隆过滤器

6.1 引入pom依赖

6.2 编写测试代码

6.3 测试结果

6.4 参数说明

6.5 fpp&expectedInsertions

7、Java集成Redis使用布隆过滤器

7.1 引入pom依赖

7.2 编写测试代码

7.3 测试结果


1、什么是布隆过滤器

布隆过滤器(Bloom Filter)是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多,缺点是有一定的误识别率和删除困难。

上面这句介绍比较全面的描述了什么是布隆过滤器,如果还是不太好理解的话,就可以把布隆过滤器理解为一个set集合,我们可以通过add往里面添加元素,通过contains来判断是否包含某个元素。由于本文讲述布隆过滤器时会结合Redis来讲解,因此类比为Redis中的Set数据结构会比较好理解,而且Redis中的布隆过滤器使用的指令与Set集合非常类似(后续会讲到)。

学习布隆过滤器之前有必要先聊下它的优缺点,因为好的东西我们才想要嘛!
布隆过滤器的优点:

  • 时间复杂度低,增加和查询元素的时间复杂为O(N),(N为哈希函数的个数,通常情况比较小)
  • 保密性强,布隆过滤器不存储元素本身
  • 存储空间小,如果允许存在一定的误判,布隆过滤器是非常节省空间的(相比其他数据结构如Set集合)

布隆过滤器的缺点:

  • 有点一定的误判率,但是可以通过调整参数来降低
  • 无法获取元素本身
  • 很难删除元素

2、布隆过滤器的使用场景

布隆过滤器可以告诉我们**“某样东西一定不存在或者可能存在”,也就是说布隆过滤器说这个数不存在则一定不存,布隆过滤器说这个数存在可能不存在**(误判,后续会讲),**利用这个判断是否存在的特点可以做很多有趣的事情。

  • 解决Redis缓存穿透问题(面试重点)
  • 邮件过滤,使用布隆过滤器来做邮件黑名单过滤
  • 对爬虫网址进行过滤,爬过的不再爬
  • 解决新闻推荐过的不再推荐(类似抖音刷过的往下滑动不再刷到)
;