依赖 Python 哈希函数时发生冲突的风险是什么？

Question

在我的程序中，我需要存储与许多（我们说数十万、数百万）游戏板状态相关的数据。 为此，我使用字典。

class BoardState(object):
    def __init__(self, ...):
        # ...
        self.board = [ [ None ] * self.cols for _ in xrange(self.rows) ]

    def __hash__(self):
        board_tuple = tuple([ tuple(row) for row in self.board ])
        return hash(board_tuple)

    # ...

self.board是一个二维列表，在我的主要用例中，有 6 行和 7 列。

一开始我用BoardState对象索引了dict 。 但是由于我不将存储在dict BoardState对象用于将来查找以外的其他目的，我注意到我可以通过使用hash(board_state)进行索引来节省内存（此版本使用的内存减少了 4 倍）。

两个不同的BoardState对象（内部有不同的board ）在hash后得到相同值的可能性有BoardState ？

为了澄清一点，这就是我从dict存储和检索值的方式：

board_state = BoardState(...)
my_values[hash(board_state)] = { ... }
...
other_val_with_board_state = source_function()
retrieved = my_values[hash(other_val_with_board_state)]

（正如我之前提到的，我使用hash()结果进行索引以节省内存，因为我以后不使用BoardState对象。）

---

更新现在我想知道使用board_state.board字符串表示作为索引是否可以很好地解决我的问题。

Answer 1

简短回答：改用hashlib 。

---

你不应该依赖于hash如果你的程序无法处理的冲突，或者您想要保存的哈希值或使用多。

Python 哈希函数将映射数据转换为 64 位（整数范围）。 散列最基本的分析仅限于将其视为生日问题。 有一个很好的SO 答案和一个详细的wiki 页面。 典型的引用是“如果您的元素少于数十亿，则不必担心”。 然而，这是非常简单的观点。

作为一个轶事：我最近对人类手动创建的8.7e6唯一短字符串进行了hash处理。 64 位哈希的碰撞次数的数学期望是4e-6 。 我得到了 32。有趣的事实： hash(chr(9786)) == hash(chr(58)+chr(38)) （'☺' 与 ':&' 碰撞）（从 Python3.8.10 开始）。

hashlib加密函数更能抵抗冲突。 像hashlib.sha256(pickle.dumps(my_obj,1))这样的东西甚至可能比转换为元组更快。

---

如果内存问题是散列的原因，那么首先应该首先考虑用较少的字节来表示数据。 首先想到的是指定__slots__并减少嵌套对象的数量。 然而，对于小对象，由于每个 python 对象需要大量的脚手架，这将是一场艰苦的战斗。

如果我们以国际象棋为例，完整状态可以存储在 24 字节或更舒适的 32 字节（64 个单元格，每个单元格需要 4 位来表示其内容）。 我们可以用 python 得到最好的bytes ，它需要 65 位（33 字节的服务信息），并且需要额外的操作来将两个 4 位块推送到一个字节中。 另一种选择可能是bitarray.frozenbitarray ，它需要 112 个字节来存储相同数量的有用信息（80 个字节的信息）。 但是，嘿，它仍然胜过元组中的元组，其中每个元组有40 字节的脚手架。

Answer 2

虽然我不确定在散列后获得相同值的机会有多大，但据推测这是可能的并且可能有问题。

话虽如此，如果您不将存储在 dict 中的BoardState对象用于查找以外的任何目的，那么您将id属性添加到在__init__唯一生成的 BoardState 类是否可行（即设置为全局创建每个新的 BoardState 对象后计数器增加 1）？ 然后您可以使用id作为您字典的键以供将来查找并避免任何潜在的冲突问题。

Answer 3

要知道冲突的风险，我们必须查看散列函数的实现。 主要思想是从一个空间开始，假设A（变量board_tuple可以采取的所有形式）通过哈希函数H到另一个空间B（哈希函数的结果）。

碰撞的风险来自两件事：

• 空间的大小：如果您有 2 个board_tuple可能性并且 B 的大小为board_tuple 。 那么发生碰撞的可能性很小。 另一方面，如果您可以拥有 1000 个board_tuple并且 H 导致空格 B 为 16，那么几乎可以肯定会发生碰撞。
• 哈希函数本身。 如果哈希函数是 h(x) = 2，那么总会有碰撞。

但是不要太担心，哈希函数制作精良，我几乎可以肯定他们正在使用一些经典策略巧妙地处理冲突：

• 重新运行散列函数直到没有冲突
• 存储为一个元素数组，导致相同的散列而不是发生冲突......