filter前置过滤器,java filter过滤器

3358 www.Sina.com % 2f % 20 % 0a % 20 % E5 % a6 % 82 % E6 % 9e % 9c % E6 % 83 % B3 % E5 % 88 % a4 % E6 % 96 % ad % E4 % b8 0 % BF % 9d % E5 % ad % 98 % E8 % b5 % B7 % E6 % a5 % ef % BC % 8c % E7 % B6 % E5 % 90 % e9 % 80 % BF % 25 % 20e6% A0 % 91 % 9b % 86 % E5 % 98 % E4 % b8 % ad % E5 % 83 % E7 % B4 % E7 % 9a % 84 % E5 % a2 % E5 % 8a % AAA % 207 % a9 % ba % e9 % 97 % B4 % % 87 % E4 % b8 % 96 % E7 % 95 % E4 % b8 % 8a % E8 % BF % 98 % E6 % 99 % E4 % b8 % E7 % 25 % 20ab % E5 % 93 % 88 % E5 % b8 % 8c E4 % b8 % aa hash % E5 % 87 % BD % E6 % 95 % B0 % E5 % B0 % 86 % E4 % b8 % b8 % b8 % aa5 % 25 % 208 % b5 % E5 % 88 % 97 % bb % AC % E5 % 8f % aa % E8 % a6 % 81 % E7 % 9c % 8b % E8 % BF % 99 % E4 % b8 % aa % E7 % 82 % B9 % E6 % 96 % 28 08 % E7 % 9a % 84 % E5 % 9f % ba % E6 % 9c % AC % E6 % 80 % 9d % E6 % 83 % B3 % E3 % 80 % 82 % 20 % 0a % 2033 358 www.Sina.cc % E4 % BF % 25 % 20 % E6 % 98 % af % E6 % 9c % 89 % E4 % b8 % 80 % E5 % AE % 9a % E7 % 9a % 84 % af % E8 % af % 86 % E5 % 88 % af A0 % E5 % ad % 98 % 25 eoom % 20e6% 98 % af % E5 % AE % 9e9% e9 % 85 % E4 % b8 % 8a % E8 % af % a5 % E5 % 83 % E7 % B4 % A0 % 6 % 9c % 89 % E8 % af % 86 % E5 % 20 % 87 % E5 % 8f % 8d % E4 % be % 8b false % 20 negatives % ef % BC % 8c % E5 % a6 % 82 % E6 % 82 % E6 3 % E4 % B9 % 88 bloom % 20 filter % 20 % E6 % 90 % 25 % 20ad % 98 % E5 % 9c % A8 % E4 % ba % 8e9% 86b % E5 % 98 % E4 % b8 B4 % E8 % a7 % 82 % E7 % 84 % E8 % af % B4 % ef % BC % 8cb loom % E7 % 25 % 20e7% 94 % A8 % a9d % a5 % E5 % 88 % a4 % E6 0 % E5 % 92 % E4 % b8 % E8 % AC % E7 % 9a % 84 hash % 20 set % E4 % b8 % 8d % 25 % 206 % 97 % A0 % e9 % 9c % 80 % E5 % ad % 98 % ad % 98 % % E4 % BD % 8d % ef % BC % 8c % E6 % af % 8f % E4 % b8 % aa % E5 % ad % 98 % E5 % 82 % A8 % E4 % b8 % 20 key % E6 % 98 % af % ef % af % af % E8 % ad % 98 % aa 81k % E4 % b8 % aa hash % E5 % 87 % BD % E6 % B0 % ef % BC % E6 % af % E4 % b8 % aa % E5 % 87 % BD % 20 B1 % E4 % b8 % aa % E6 % ange % E6 % af % 94 % E7 % 89 % B9 % E7 % a7 % 84 % E6 % b5 % E7 % bb % 84 % ef % BC % 8c % E6 % af % 8f % 20 % 20 % 0a % 203 E5 % 87 % bak % E4 % b8 % aa % E6 % a3 % E5 % 88 % 97 % E5 % BC % ef % BC % 8c % E5 % B6 % E6 % 8a % 20 % E4 % BD % 8d % E7 %

); BitMapSet(&bf->_bm,bf->_Hashfunc2(key)%bf->_bm._range); BitMapSet(&bf->_bm,bf->_Hashfunc3(key)%bf->_bm._range);}int BloomFilterTest(BloomFilter *bf,KeyType key){ assert(bf); if (BitMapTest(&bf->_bm,bf->_Hashfunc1(key)%bf->_bm._range)) return -1; if (BitMapTest(&bf->_bm,bf->_Hashfunc2(key)%bf->_bm._range)) return -1; if (BitMapTest(&bf->_bm,bf->_Hashfunc3(key)%bf->_bm._range)) return -1; return 0;}void BloomFilterDestory(BloomFilter *bf) //销毁{ BitMapDestory(&bf->_bm);}

算法测试案例及运行结果：

void TestBlooomFilter(){ BloomFilter bf; BloomFilterInit(&bf,-1); BloomFilterSet(&bf,"123.5.3.6"); BloomFilterSet(&bf,"123.5.3.8"); BloomFilterSet(&bf,"123.5.3.6"); BloomFilterSet(&bf,"123.5.3.7"); BloomFilterSet(&bf,"123.5.3.4"); BloomFilterSet(&bf,"123.5.3.6"); BloomFilterSet(&bf,"123.5.3.8"); BloomFilterSet(&bf,"123.5.3.8"); BloomFilterSet(&bf,"123.5.3.6"); printf("ip is exist? %dn",BloomFilterTest(&bf,"123.5.3.6")); printf("ip is exist? %dn",BloomFilterTest(&bf,"123.5.3.7")); printf("ip is exist? %dn",BloomFilterTest(&bf,"123.5.3.8")); printf("ip is exist? %dn",BloomFilterTest(&bf,"123.5.3.4")); printf("ip is exist? %dn",BloomFilterTest(&bf,"123.5.3.1")); BloomFilterDestory(&bf);}

0 代表存在 ，-1代表不存在。

代码中调用了位图相关函数代码： 位图相关部分知识在上篇博文中有详细解释。

#define _CRT_SECURE_NO_WARNINGS 1#include"BitMap.h"void BitMapInit(BitMap *bm,size_t range) //初始化{ assert(bm); bm->_bits = NULL; bm->_range = range; bm->_bits = (size_t *)malloc(sizeof(char)*bm->_range/8 +1); assert(bm->_bits); memset(bm->_bits,0,sizeof(char)*bm->_range/8 +1);}void BitMapSet(BitMap *bm,size_t x)//标记相应位{ size_t num = x>>5; size_t bit = x%32; bm->_bits[num] |=(1<<bit);}int BitMapTest(BitMap *bm,size_t x){ size_t num = x>>5; size_t bit = x%32; if ((1<<bit)&bm->_bits[num]) return 0; return -1;}void BitMapDestory(BitMap *bm){ free(bm->_bits); bm->_bits = NULL; bm->_range = 0;}

4.布隆过滤器的实际用例[1]

Google 著名的分布式数据库 Bigtable 使用了布隆过滤器来查找不存在的行或列，以减少磁盘查找的IO次数。

Squid 网页代理缓存服务器在 cache digests 中使用了也布隆过滤器。

Venti 文档存储系统也采用布隆过滤器来检测先前存储的数据。

SPIN 模型检测器也使用布隆过滤器在大规模验证问题时跟踪可达状态空间。

Google Chrome浏览器使用了布隆过滤器加速安全浏览服务。

在很多Key-Value系统中也使用了布隆过滤器来加快查询过程，如 Hbase，Accumulo，eveldb，一般而言，Value 保存在磁盘中，访问磁盘需要花费大量时间，然而使用布隆过滤器可以快速判断某个Key对应的Value是否存在，因此可以避免很多不必要的磁盘IO操作，只是引入布隆过滤器会带来一定的内存消耗，下图是在Key-Value系统中布隆过滤器的典型使用：

5.布隆过滤器相关扩展[1]
Counting filters
基本的布隆过滤器不支持删除（Deletion）操作，但是 Counting filters 提供了一种可以不用重新构建布隆过滤器但却支持元素删除操作的方法。在Counting filters中原来的位数组中的每一位由 bit 扩展为 n-bit 计数器，实际上，基本的布隆过滤器可以看作是只有一位的计数器的Counting filters。原来的插入操作也被扩展为把 n-bit 的位计数器加1，查找操作即检查位数组非零即可，而删除操作定义为把位数组的相应位减1，但是该方法也有位的算术溢出问题，即某一位在多次删除操作后可能变成负值，所以位数组大小 m 需要充分大。另外一个问题是Counting filters不具备伸缩性，由于Counting filters不能扩展，所以需要保存的最大的元素个数需要提前知道。否则一旦插入的元素个数超过了位数组的容量，false positive的发生概率将会急剧增加。当然也有人提出了一种基于 D-left Hash 方法实现支持删除操作的布隆过滤器，同时空间效率也比Counting filters高。

Data synchronization
Byers等人提出了使用布隆过滤器近似数据同步。

Bloomier filters
Chazelle 等人提出了一个通用的布隆过滤器，该布隆过滤器可以将某一值与每个已经插入的元素关联起来，并实现了一个关联数组Map。与普通的布隆过滤器一样，Chazelle实现的布隆过滤器也可以达到较低的空间消耗，但同时也会产生false positive，不过，在Bloomier filter中，某 key 如果不在 map 中，false positive在会返回时会被定义出的。该Map 结构不会返回与 key 相关的在 map 中的错误的值。

参考资料
[1] https://www.cnblogs.com/liyulong1982/p/6013002.html