Hash Function 什么好？

Question

Hash function 什么好？ 我在大学的数据结构课程中看到了很多 hash function 和应用程序，但我主要了解到很难做出好的 hash function。作为避免冲突的经验法则，我的教授说：

function Hash(key)
  return key mod PrimeNumber
end

（mod 是 C 和类似语言中的 % 运算符）

质数为 hash 表的大小。 我知道这是一个有点好的 function 可以避免碰撞并且速度很快，但是我怎样才能做出更好的呢？ 是否有更好的 hash 函数用于字符串键和数字键？

Answer 1

对于通用散列，没有“好的散列函数”这样的东西（编辑。是的，我知道有“通用散列”这样的东西，但这不是我的意思）。 根据上下文不同的标准确定散列的质量。 已经有两个人提到了SHA。 这是一个加密散列，它对您可能是指的散列表完全不利。

哈希表有非常不同的要求。 但是，普遍地找到一个好的散列函数仍然很困难，因为不同的数据类型暴露了不同的可以散列的信息。 根据经验，最好考虑一个类型同等拥有的所有信息。 这并不总是容易甚至不可能的。 出于统计原因（以及因此碰撞），在问题空间（即所有可能的对象）上生成良好的分布也很重要。 这意味着当对 100 到 1050 之间的数字进行散列时，让最重要的数字在散列中占很大比例是不好的，因为对于大约 90% 的对象，这个数字将为 0。让最后三个数字重要得多数字决定散列。

类似地，在对字符串进行哈希处理时，重要的是要考虑所有字符——除非事先知道所有字符串的前三个字符是相同的； 考虑这些然后是浪费。

这实际上是我建议阅读 Knuth 在The Art of Computer Programming , vol. 中所说的话的情况之一。 3. 另一个不错的读物是 Julienne Walker 的The Art of Hashing 。

Answer 2

对基本上任何类型的数据进行“正常”哈希表查找 - Paul Hsieh 的这个是我用过的最好的。

http://www.azillionmonkeys.com/qed/hash.html

如果您关心加密安全或其他任何更高级的东西，那么 YMMV。 如果您只是想要一个用于哈希表查找的通用哈希函数，那么这就是您要寻找的。

Answer 3

散列函数有两个主要目的：

• 将数据点均匀地分散为 n 位。
• 以安全地识别输入数据。

在不知道您使用它的情况下推荐一个哈希是不可能的。

如果您只是在程序中制作哈希表，那么您无需担心算法的可逆性或可破解性......为此完全不需要 SHA-1 或 AES，您最好使用FNV 的一种变体。 FNV 比您提到的简单素数 mod 实现了更好的分散（从而减少了碰撞），并且它更适应不同的输入大小。

如果您使用散列来隐藏和验证公共信息（例如散列密码或文档），那么您应该使用经过公众审查的主要散列算法之一。 Hash Function Lounge是一个很好的起点。

Answer 4

这是一个很好的例子，也是为什么你永远不想写一个的例子。 这是一个 Fowler / Noll / Vo (FNV) 哈希，相当于计算机科学天才和纯巫毒教：

unsigned fnv_hash_1a_32 ( void *key, int len ) {
    unsigned char *p = key;
    unsigned h = 0x811c9dc5;
    int i;

    for ( i = 0; i < len; i++ )
      h = ( h ^ p[i] ) * 0x01000193;

   return h;
}

unsigned long long fnv_hash_1a_64 ( void *key, int len ) {
    unsigned char *p = key;
    unsigned long long h = 0xcbf29ce484222325ULL;
    int i;

    for ( i = 0; i < len; i++ )
      h = ( h ^ p[i] ) * 0x100000001b3ULL;

   return h;
}

编辑：

• Landon Curt Noll 在他的网站上推荐 FVN-1A 算法而不是原始 FVN-1 算法：改进的算法更好地分散散列中的最后一个字节。 我相应地调整了算法。

Answer 5

我会说主要的经验法则是不要自己动手。 尝试使用经过彻底测试的东西，例如 SHA-1 或类似的东西。

Answer 6

你在这里说的是你想要一个具有抗碰撞性的使用。 尝试使用 SHA-2。 或者尝试以单向压缩功能（以前从未尝试过）使用（好的）分组密码，例如 Miyaguchi-Preenel 模式中的 AES。 问题在于您需要：

1）有一个IV。 尝试使用 Khinchin 常数的小数部分的前 256 位或类似的东西。 2）有一个填充方案。 简单。 从像 MD5 或 SHA-3（Keccak [发音为 'ket-chak']）这样的散列中提取它。 如果您不关心安全性（其他一些人这么说），请查看 Bob Jenkins 的 FNV 或 lookup2（实际上我是第一个推荐 lookup2 的人）也尝试 MurmurHash，它很快（检查这个：.16 cpb ）。

Answer 7

一个好的散列函数具有以下特性：

1. 给定消息的哈希值，攻击者在计算上无法找到另一条消息，使得它们的哈希值相同。

2. 给定一对消息 m' 和 m，找到两个满足 h(m) = h(m') 的消息在计算上是不可行的

这两种情况并不相同。 在第一种情况下，您试图找到一个预先存在的哈希值。 在第二种情况下，您试图找到任何发生冲突的两条消息。 由于生日“悖论”，第二个任务要容易得多。

在性能不是那么大的问题的情况下，您应该始终使用安全的散列函数。 可以通过强制散列中的冲突来执行非常聪明的攻击。 如果你从一开始就使用强大的东西，你就会保护自己免受这些影响。

不要在新设计中使用 MD5 或 SHA-1。 大多数密码学家，包括我在内，都会认为它们坏了。 这两种设计的主要弱点是我在上面概述的第二个属性不适用于这些结构。 如果攻击者可以生成两条消息，m 和 m'，它们都散列到相同的值，他们可以使用这些消息来对付你。 SHA-1 和 MD5 也遭受消息扩展攻击，如果您不小心，这可能会致命地削弱您的应用程序。

更现代的哈希，例如 Whirpool，是更好的选择。 它不受这些消息扩展攻击的影响，并使用与 AES 相同的数学方法来证明针对各种攻击的安全性。

希望有帮助！

Answer 8

一个好的散列函数应该

1. 在可能的情况下，双射不丢失信息，并尽量减少冲突
2. 级联尽可能多且尽可能均匀，即每个输入位应该以 0.5 的概率翻转每个输出位，并且没有明显的模式。
3. 如果在加密上下文中使用，不应该存在一种有效的方法来反转它。

素数模不满足这些点中的任何一点。 这简直是​​不够的。 它通常比没有好，但它甚至不快。 与一个无符号整数相乘并取二的幂模数分布的值也一样，这根本不好，但只有大约 2 个 cpu 周期，它比质数模数的 15 到 40 快得多（是的整数除法真的很慢）。

要创建一个快速且能很好地分配值的散列函数，最好的选择是将它从质量较差的快速排列组合起来，就像使用PCG生成随机数一样。

有用的排列包括：

• 与一个奇数相乘
• 二元旋转
• 异或移位

按照这个秘籍，我们可以创建我们自己的哈希函数，或者我们采用经过测试并被广泛接受的splitmix 。

如果需要加密质量，我强烈建议使用 sha 系列的功能，该功能经过良好测试和标准化，但出于教育目的，您可以这样做：

首先你采用一个好的非加密散列函数，然后你应用一个单向函数，比如在素数域上求幂或k (n*(n+1)/2) mod 2^k应用程序，当k是结果散列中的位数。

Answer 9

我强烈推荐 SMhasher GitHub 项目https://github.com/rurban/smhasher ，它是一个哈希函数测试套件。 这里列出了最快的最先进的非加密哈希函数，没有已知的质量问题： https : //github.com/rurban/smhasher#summary 。

Answer 10

不同的应用场景对hash算法有不同的设计要求，但是一个好的hash function应该具备以下三点：

• 抗碰撞性：尽量避免冲突。 如果很难找到哈希到同一个 output 的两个输入，则 hash function 是防冲突的
• Tamper Resistant : 只要改变一个字节，它的 hash 值就会有很大的不同。
• Computational Efficiency : Hash 表是一种可以在时间消耗和空间消耗之间做出权衡的算法。

2022年我们可以选择SHA-2家族用于安全加密， SHA-3更安全但性能损失更大。 更安全的做法是加盐混合加密，我们可以选择SHA-2家族来进行安全加密，SHA-3更安全但性能损失更大。 一种更安全的方法是加盐和混合加密。