NVIDIA GPU上的IEEE-754标准（sm_13）

Question

如果我在主机和设备（GPU arch sm_13）上执行浮点（单精度）操作，那么值是否会不同？

Answer 1

NVIDIA的白皮书中提供了对此的良好讨论。 基本上：

• IEEE-754几乎所有目前都在实施;
• 即使在忠实实施此标准之间，您仍然可以看到结果的差异（着名的是，英特尔在内部执行80位双精度），或者您的编译器的高优化设置可以改变结果
• 计算能力2.0及更高版本的NVIDIA显卡支持单精度和双精度的IEEE-754，只有非常小的警告
  • 某些操作不支持某些舍入模式 - 仅当您明确更改代码中的舍入模式时，这才有意义
  • 融合乘法和补充有一些细微之处
  • CUDA还提供（稍微）较低的精度但更快的几个操作的实现，当然如果你明确或隐含地使用它们（使用编译器选项），你自然不会得到完整的ieee-754结果
• 计算能力1.3卡支持ieee-754，如上所述，双精度但不是单精度; （单精度不支持非正规 - 例如非常小 - 数字，没有FMA，平方根和除法不完全准确）
• 计算能力1.2卡只有单精度，并且那些不是如上所述的ieee-754。