无序 Python 集的“顺序”

Question

我知道 Python 中的集合是无序的，但我很好奇它们显示的“顺序”，因为它似乎是一致的。 它们似乎每次都以相同的方式出现故障：

>>> set_1 = set([5, 2, 7, 2, 1, 88])
>>> set_2 = set([5, 2, 7, 2, 1, 88])
>>> set_1
set([88, 1, 2, 5, 7])
>>> set_2
set([88, 1, 2, 5, 7])

...还有另一个例子：

>>> set_3 = set('abracadabra')
>>> set_4 = set('abracadabra')
>>> set_3
set(['a', 'r', 'b', 'c', 'd'])
>>>> set_4
set(['a', 'r', 'b', 'c', 'd'])

我只是好奇为什么会这样。 有什么帮助吗？

Answer 1

您应该观看此视频 （尽管它是CPython ¹特定的并且是关于字典的-但我认为它也适用于集合）。

基本上，python对元素进行哈希处理，并获取最后N位（其中N由集合的大小确定），然后使用这些位作为数组索引将对象放置在内存中。 然后按照它们在内存中存在的顺序产生对象。 当然，当您需要解决哈希之间的冲突时，图片会变得稍微复杂一些，但这就是要点。

还要注意，它们的打印顺序取决于您放置它们的顺序（由于碰撞）。 因此，如果您对传递给set_2的列表进行重新排序，那么在发生键冲突时，您可能会得到其他排序。

例如：

list1 = [8,16,24]
set(list1)        #set([8, 16, 24])
list2 = [24,16,8]
set(list2)        #set([24, 16, 8])

请注意 ，顺序保留在这些集合中的事实是“巧合”，并且与冲突解决有关（我一无所知）。 关键是hash(8) ， hash(16)和hash(24)的最后3位相同。 因为它们是相同的，所以冲突解决方案将接管并将元素放置在“备份”存储位置中，而不是首先（最佳）选择中，因此，是8占据某个位置，还是16占据哪个位置，首先确定哪个位置到达了聚会并接管了该位置。 “最佳座位”。

如果我们重复与例1 ， 2和3 ，你会得到一个一致的顺序，不管什么样的顺序，他们在输入列表：

list1 = [1,2,3]
set(list1)      # set([1, 2, 3])
list2 = [3,2,1]
set(list2)      # set([1, 2, 3])

由于hash(1)的最后3位， hash(2)和hash(3)是唯一的。

---

¹ 注意此处描述的实现适用于CPython dict和set 。 我认为一般说明对所有最新的CPython 3.6版以下版本均有效。 但是，从CPython3.6开始，还有一个附加的实现细节，实际上保留了dict迭代插入顺序。 似乎set仍然没有此属性。 pypy（此人在CPython之前就开始使用它）在此博客中描述了数据结构。 最初的想法（至少对于python生态系统而言）存储在python-dev邮件列表中 。

Answer 2

这种行为的原因是Python使用哈希表来实现字典： https : //en.wikipedia.org/wiki/Hash_table#Open_addressing

密钥的位置由其内存地址定义。 如果您知道Python为某些对象重用内存：

>>> a = 'Hello world'
>>> id(a)
140058096568768
>>> a = 'Hello world'
>>> id(a)
140058096568480

您可以看到对象a在每次初始化时都有不同的地址。

但是对于小整数，它不会改变：

>>> a = 1
>>> id(a)
40060856
>>> a = 1
>>> id(a)
40060856

即使我们使用不同的名称创建第二个对象，它也将是相同的：

>>> b = 1
>>> id(b)
40060856

这种方法可以节省Python解释器消耗的内存。

Answer 3

AFAIK Python集使用哈希表实现 。 项目出现的顺序取决于所使用的哈希函数。 在程序的同一运行中，哈希函数可能不会更改，因此您获得相同的顺序。

但是并不能保证它将始终使用相同的功能，并且顺序将在运行之间改变-如果插入很多元素并且哈希表必须调整大小，则顺序将在同一运行内改变。

Answer 4

集基于哈希表。 值的散列应该是一致的，因此顺序也将是-除非两个元素散列到同一代码，否则插入顺序将更改输出顺序。

Answer 5

一个关键的事情暗示了mgilson的好答案 ，但是在任何现有的答案中都没有明确提及：

小整数会自己散列：

>>> [hash(x) for x in (1, 2, 3, 88)]
[1, 2, 3, 88]

字符串散列到不可预测的值。 实际上，默认情况下，从3.3开始， 它们是基于启动时随机分配的种子构建的 。 因此，对于每个新的Python解释器会话，您将获得不同的结果，但是：

>>> [hash(x) for x in 'abcz']
[6014072853767888837,
 8680706751544317651,
 -7529624133683586553,
 -1982255696180680242]

---

因此，请考虑最简单的哈希表实现：仅由N个元素组成的数组，其中插入值意味着将其放入hash(value) % N （假设没有冲突）。 您可以粗略估计N它将比其中的元素数大一点。 当根据6个元素的序列创建集合时，N很容易为8。

当您存储N = 8的这5个数字时会发生什么？ 好吧， hash(1) % 8 ， hash(2) % 8等只是数字本身，而hash(88) % 8为0。因此，哈希表的数组最终保存为88, 1, 2, NULL, NULL, 5, NULL, 7 。 因此应该很容易弄清楚为什么迭代集合可能会给您88, 1, 2, 5, 7 。

当然，Python不能保证每次都会得到该命令。 它猜测N的正确值的方式稍作更改，可能意味着88最终会出现某个不同的值（或最终与其他值之一发生冲突）。 而且，事实上，在我的Mac上运行的CPython 3.7，我得到的1, 2, 5, 7, 88 0.0

同时，当您从大小为11的序列构建散列，然后向其中插入随机散列时，会发生什么？ 即使假设最简单的实现，并且假设没有冲突，您仍然不知道要获得什么顺序。 一次运行Python解释器将保持一致，但下次启动时将有所不同。 （除非将PYTHONHASHSEED设置为0或其他一些int值。）这正是您所看到的。

---

当然，值得一看的是实际实现集合的方式，而不是猜测。 但是，基于最简单的哈希表实现的假设，您猜测的是（禁止冲突和禁止哈希表的扩展）确切发生了什么。