从Python列表中有效地删除非常接近重复的内容

Question

背景 ：
我的Python程序处理相对大量的数据，可以在程序中生成或导入。 然后处理数据，并且在这些过程之一中，有意地复制数据然后进行操作，清理重复数据然后返回到程序以供进一步使用。 我正在处理的数据非常精确（最多16位小数），并且将此精度保持在至少14dp是至关重要的。 然而，数学运算当然可以返回我的浮点数的微小变化，这样两个值与14dp相同，但可能会略微变化到16dp，因此意味着内置的set()函数不能正确地删除这样的'重复' （我使用这种方法来构思这个想法，但是对于完成的程序来说它并不令人满意）。 我还应该指出，我可能会忽略一些简单的事情！ 我只是想看看别人怎么想:)

题：
从可能非常大的数据集中删除非常接近重复的最有效方法是什么？

我的尝试 ：
我已经尝试将值本身四舍五入到14dp，但这当然不能令人满意，因为这会导致更大的错误。 我有一个解决这个问题的潜在解决方案，但我不相信它尽可能高效或“pythonic”。 我的尝试涉及查找与x dp匹配的列表条目的索引，然后删除其中一个匹配的条目。

提前感谢您的任何建议！ 如果你有什么希望澄清的话，请告诉我，或者当然，如果我忽略了一些非常简单的事情（我可能正处于我过度思考的地步）。

关于'重复'的澄清 ：
我的一个“重复”条目示例：603.73066958946424,603.73066958946460，解决方案将删除其中一个值。

关于decimal.Decimal的注释：
如果能够保证所有导入的数据都没有一些近似重复（通常这样做），这可能会有效。

Answer 1

如果你正在处理大量数据，你真的想要使用NumPy。 我是这样做的：

导入NumPy：

import numpy as np

生成8000个高精度浮点数（128位将足以满足您的需要，但请注意，我将random的64位输出转换为128只是为了伪造它。在这里使用您的真实数据。）：

a = np.float128(np.random.random((8000,)))

在圆角数组中查找唯一元素的索引：

_, unique = np.unique(a.round(decimals=14), return_index=True)

并从原始（非圆形）数组中获取这些索引：

no_duplicates = a[unique]

Answer 2

为什么不创建一个将14dp值映射到相应的完整16dp值的dict：

d = collections.defaultdict(list)

for x in l:
    d[round(x, 14)].append(x)

现在，如果您只想要“独特”（根据您的定义）值，您可以这样做

unique = [v[0] for v in d.values()]