如何计算布隆过滤器百分比

Question

我正在研究Hadoop In Action，并在Bloom Filter上遇到了解释，其中说：

误报率由以下方程式近似

(1 – exp(-kn/m))k 

其中k是使用的哈希函数的数量，m是用于存储Bloom过滤器的位数，n是要添加到Bloom过滤器中的元素的数量。 在实践中，m和n由系统要求确定，因此，选择k是为了最大程度地降低给定m和n的假阳性率，该假阳性率（经过微积分）为

k = ln(2) * (m/n) ≈ 0.7 * (m/n) 

给定k的误报率是0.6185m / n，k必须是整数。 误报率仅是一个近似值。 从设计的角度来看，应该考虑（m / n）每个元素的位数，而不是单独考虑m。 例如，我们必须存储一个包含一千万个URL（n = 10,000,000）的集合。 每个URL分配8位（m / n = 8）将需要10 MB的布隆过滤器（m = 80,000,000位）。 该布隆过滤器的误报率将为（0.6185）8，或大约2％。 如果我们要通过存储原始URL来实现Set类，并且假设平均URL长度为100字节，则必须使用1 GB。 Bloom过滤器使存储需求减少了2个数量级，而误判率仅为2％！ 分配给布隆过滤器的存储空间略有增加，将进一步降低误报率。 如果每个URL为10位，则Bloom筛选器将占用12.5 MB，并且误报率仅为0.8％。

因此，这里说的误报率是0.6185 * 8，即4.948，但是文件怎么说呢，大约是2％？ 有人可以帮我计算百分比吗？

根据David的回复的详细说明：

根据书中的解释：

n = 10,000,000 = 1e7

m/n = 8 which means m = 8*n

k = ln(2) * (m/n), Value of ln(2) is 0.693 = 0.7, so value of k = 0.7 * (m/n)

现在来到我的表情：

 (1 – exp^(-kn/m))^k = (1 - exp^(-0.7))^(0.7*8) = (1 - 0.4965)^(5.6) = (0.5034)^(5.6) = 0.0214 (Here ^ represents power)

要计算百分比，我们必须乘以100。

因此百分比为0.0214*100 = 2%

Answer 1

正确的公式是

                k
(1 – exp(-kn/m)) ,

将带括号的表达式取幂k而不是乘以k。 近似值主要是假设布隆过滤器的每个单元格的值都是独立的（由于写入exp会产生少许误差，而不是真正的单单元格概率）； 假阳性率是k个细胞都被标记的概率。

对于给定的示例，这是如何计算误报概率。

>>> from math import *
>>> n = 1e7
>>> m = 8*n
>>> k = log(2) * (m/n)
>>> (1 - exp(-k*n/m)) ** k
0.021415847120683718

要将概率转换为百分比，请乘以100。

>>> 100*_
2.1415847120683718