为什么编译器不将浮点 *2 优化为指数增量？

Question

我经常注意到 gcc 将乘法转换为可执行文件中的移位。 将int和float相乘时可能会发生类似的事情。 例如， 2 * f可能只是将f的指数增加 1，从而节省一些周期。 编译器，也许如果有人要求他们这样做（例如通过-ffast-math ），通常会这样做吗？

编译器通常是否足够聪明来执行此操作，还是我需要使用scalb*()或ldexp()/frexp()函数系列自己执行此操作？

Answer 1

例如，2 * f 可能只是将 f 的指数增加 1，从而节省一些周期。

这根本不是真的。

首先，您有太多的极端情况，例如零、无穷大、Nan 和非正规数。 然后你有性能问题。

误解是增加指数并不比做乘法快。

如果您查看硬件说明，则没有直接增加指数的方法。 所以你需要做的是：

1. 按位转换为整数。
2. 增加指数。
3. 按位转换回浮点数。

在整数和浮点执行单元之间移动数据通常存在中等到大的延迟。 所以最终，这种“优化”变得比简单的浮点乘法更糟糕。

所以编译器不做这种“优化”的原因是因为它并没有更快。

Answer 2

在现代CPU 上，乘法通常具有每周期一个的吞吐量和低延迟。 如果该值已经在一个浮点寄存器中，你就无法通过在表示上进行整数运算来击败它。 如果它开始在内存中，并且您假设当前值和正确结果都不是零、非正规、nan 或无穷大，那么执行类似的操作可能会更快

addl $0x100000, 4(%eax)   # x86 asm example

乘以二； 我唯一能看到这有好处的时候是，如果您正在处理一个从零到无穷大有界的浮点数据的整个数组，并且以 2 的幂进行缩放是您将要执行的唯一操作（所以您没有任何现有理由将数据加载到浮点寄存器中）。

Answer 3

常见的浮点格式，尤其是 IEEE 754，不会将指数存储为简单整数，将其视为整数将不会产生正确的结果。

在 32 位浮点数或 64 位双精度数中，指数字段分别为 8 位或 11 位。 指数代码 1 到 254（浮点数）或 1 到 2046（双精度数）确实像整数一样：如果将这些值之一加 1，结果是这些值之一，则表示的值会加倍。 但是，在这些情况下添加一个失败：

• 初始值为 0 或低于正常值。 在这种情况下，指数字段从零开始，向其加 1 将 2 ^-126 （浮点数）或 2 ^-1022 （双精度数）加到数字上； 它不会使数字翻倍。
• 初始值超过 2 ¹²⁷ （浮点数）或 2 ¹⁰²³ （双精度数）。 在这种情况下，指数字段从 254 或 2046 开始，向其加 1 会将数字更改为 NaN； 它不会使数字翻倍。
• 初始值是无穷大或 NaN。 在这种情况下，指数字段从 255 或 2047 开始，向其添加 1 会将其更改为零（并且可能溢出到符号位）。 结果为零或次正常，但应分别为无穷大或 NaN。

（以上为正号，情况与负号对称。）

正如其他人所指出的，一些处理器没有用于快速处理浮点值位的设施。 即使在那些这样做的情况下，指数字段也没有与其他位隔离，因此在上面的最后一种情况下，您通常无法在不溢出到符号位的情况下向其添加一个。

尽管某些应用程序可以容忍诸如忽略次正规数或 NaN 甚至无穷大之类的快捷方式，但应用程序很少会忽略零。 由于向指数添加 1 无法正确处理零，因此无法使用。

Answer 4

这与编译器或编译器编写者不聪明无关。 这更像是遵守标准并产生所有必要的“副作用”，例如 Infs、Nans 和 denormals。

也可能是不产生其他不需要的副作用，例如读取记忆。 但我确实认识到在某些情况下它可以更快。

Answer 5

实际上，这就是硬件中发生的事情。

2也作为浮点数传入 FPU，尾数为 1.0，指数为 2^1。 对于乘法，指数相加，尾数相乘。

鉴于有专用硬件来处理复杂情况（乘以不是 2 的幂的值），并且特殊情况的处理不会比使用专用硬件更糟糕，因此拥有额外的电路和指令是没有意义的.

Answer 6

这是我在 GCC 10 中看到的实际编译器优化：

x = 2.0 * hi * lo;

生成此代码：

mulsd   %xmm1, %xmm0      # x = hi * lo;
addsd   %xmm0, %xmm0      # x += x;

Answer 7

对于嵌入式系统编译器来说，具有特殊的按 2 次幂缩放的伪操作可能很有用，它可以由代码生成器以对所讨论的机器最佳的任何方式进行转换，因为在某些嵌入式处理器上，专注于指数可能比执行完整的 2 次幂乘法快一个数量级，但在乘法最慢的嵌入式微机上，编译器可能会通过让浮点乘法例程检查其参数来实现更大的性能提升在运行时跳过尾数为零的部分。

Answer 8

关于乘以 2 的幂的先前 Stackoverflow 问题。 共识和实际实现证明，不幸的是，目前没有比标准乘法更有效的方法。

Answer 9

如果您认为乘以 2 意味着将指数增加 1，请再想一想。 以下是 IEEE 754 浮点运算的可能情况：

情况 1：Infinity 和 NaN 保持不变。

情况 2：通过增加指数并将尾数（符号位除外）设置为零，将具有最大可能指数的浮点数更改为无穷大。

情况 3：指数小于最大可能指数的标准化浮点数的指数增加 1。 伊皮！！！

情况 4：设置了最高尾数位的非规范化浮点数的指数增加 1，将它们变成规范化数字。

情况 5： 清零最高尾数位（包括 +0 和 -0）的非规范化浮点数的尾数向左移动一位位置，保持指数不变。

我非常怀疑生成整数代码正确处理所有这些情况的编译器是否会像处理器内置的浮点一样快。 而且只适合乘以2.0。 对于乘以 4.0 或 0.5，适用一套全新的规则。 对于乘以 2.0 的情况，您可能会尝试用 x + x 替换 x * 2.0，许多编译器都这样做。 那就是他们这样做，因为处理器可能能够例如同时进行一次加法和一次乘法，但不能同时进行一次。 所以有时你更喜欢 x * 2.0，有时更喜欢 x + x，这取决于其他操作需要同时做什么。