在字符串上调用 GetHashCode() 时获得重复值的概率

Question

我想知道在string实例上调用GetHashCode()方法时获得重复值的概率。 例如， 根据本博客文章， blair和brainlessness具有x86机器上相同的hashCode（1758039503）。

Answer 1

大的。

（对不起乔恩！）

短字符串之间发生哈希冲突的概率非常大。 给定一组从常用词中抽取的仅一万个不同的短字符串，该集合中至少发生一次冲突的概率约为 1%。 如果你有八万个字符串，那么至少发生一次碰撞的概率超过 50%。

有关显示集合大小和碰撞概率之间关系的图表，请参阅我关于该主题的文章：

https://docs.microsoft.com/en-us/archive/blogs/ericlippert/socks-birthdays-and-hash-collisions

Answer 2

小 - 如果您谈论的是任意两个任意不相等的字符串发生碰撞的可能性。 （当然，这将取决于字符串的“任意”程度 - 不同的上下文将使用不同的字符串。）

大 - 如果您谈论的是在大量任意字符串中至少发生一次碰撞的可能性。 小的个体概率无法解决生日问题。

这就是您需要知道的全部内容。 有一定情况下会出现冲突，也有考虑那些只有2 ^32个可能的散列码，而且更重要的是许多字符串-这样的鸽巢原理证明了至少一个散列码必须有一个以上的字符串生成它。 但是，您应该相信散列的设计非常合理。

您可以依靠它作为缩小特定字符串可能匹配范围的一种很好的方法。 这将是一组不寻常的自然发生的字符串，它产生了很多冲突——即使存在一些冲突，显然，如果您可以将候选搜索集从 50K 缩小到少于 10 个字符串，那将是一个非常大的胜利。 但是您不能依赖它作为任何字符串的唯一值。

请注意，在x86和x64之间.NET 4点的不同使用，所以这个例子可能不是这两个平台上有效的算法。

Answer 3

我认为所有可以说的是“小，但有限，绝对不是零”——换句话说，你不能依赖GetHashCode()为两个不同的实例返回唯一值。

在我看来，当您想快速判断两个实例是否不同时，最好使用哈希码——而不是它们是否相同。

换句话说，如果两个对象具有不同的哈希码，您就知道它们是不同的，不需要进行（可能代价高昂的）更深入的比较。

但是，如果两个对象的哈希码相同，则必须继续比较对象本身以查看它们是否实际上相同。

Answer 4

我对一个包含 466k 个英文单词的数据库进行了测试，并与string.GetHashCode()发生了 48 次冲突。 MurmurHash 给出了稍微好一点的结果。 更多结果在这里： https : //github.com/jitbit/MurmurHash.net

Answer 5

以防万一您的问题是一组字符串中发生碰撞的概率是多少，

对于 n 个可用插槽和 m 个占用项目：
概率。 第一次插入时没有冲突的值为 1。
概率。 第 2 次插入时没有冲突的次数是 ( n - 1 ) / n
概率。 第 3 次插入时没有冲突的是 ( n - 2 ) / n
概率。 第 m 个插入没有冲突是 (n - ( m - 1 ) ) / n

m 次插入后不发生碰撞的概率是上述值的乘积：(n - 1)!/((n - m)! * n^(m - 1))。

这简化为 ( n 选择 k ) / ( n^m )。

每个人都是对的，您不能假设 0 次碰撞，因此，说概率“低”可能是正确的，但不允许您假设不会发生碰撞。 如果您正在查看哈希表，我认为标准是当您的哈希表已满约 2/3 时，您会开始遇到严重冲突的问题。

Answer 6

两个随机选择的字符串之间发生冲突的概率是1 / 2^(bits in hash code) ，如果散列是完美的，这不太可能或不可能。