如何对 Raku 进行基准测试？

Question

我经常关注GitHub Rakudo 存储库，以查看 Rakudo 编译器中发生了哪些变化。

我有时会看到单个函数以一定百分比加速的提交，以及如下图所示的时间。

评估这个的工作流程是什么？ 我很想学习这一点，这样人们就可以知道你的功能是如何执行的，并相应地进一步优化，并可以为 Rakudo 的开发做出贡献。

我在这里阅读寻求帮助，这里。 我用谷歌搜索但找不到此信息。 我还通过命令行--profile选项了解了MoarVM分析器，该选项生成html output。 它要寻找什么？

我不是一个正式的计算机科学专家。 我理解Tony Hoare 的名言——“过早的优化是万恶之源” ，但随着时间的推移，一旦代码编写正确，人们就会希望对其进行优化。 所以这个问题。

Answer 1

我使用--profile来更好地了解瓶颈在哪里。 生成的配置文件是一个好的开始，但当差异变得非常小时，对 CPU 使用率不是很好。 然而，它非常擅长跟踪对象的分配，并且更少的 object 分配至少意味着更少的 memory 流失（但并非总是如此，如果 object非常短暂） 使用--profile跟踪内容也会对优化产生影响，因此海森堡的不确定性原理在这里绝对适用。

一旦我有了一段之前/之后的代码，我就可以将它作为脚本运行，也可以作为带有time的单行代码运行。 我有一堆方便的别名可以帮助我：

alias r='time raku -e'
alias rp='raku --profile -e'

我将其作为单独的进程执行，中间至少间隔几秒钟的原因是：

1. 在此过程中运行多个基准测试往往会使 CPU 变热，然后 CPU 会被降速，使后面的基准测试变得更糟。
2. 如果两个基准测试共享核心中的一些代码，则后面的基准测试可能会受益于该代码已被早期基准测试内联/JIT。

然后，我将之前和之后的代码分别运行 3 到 5 次，并使用Nil循环找出开销。 所以例如：

$ r 'my $a = "42"; Int($a) for ^100000'
real    0m0.244s

$ r 'my $a = "42"; $a.Int for ^100000'
real    0m0.178s

$ r 'my $a = "42"; Nil for ^100000'
real    0m0.154s

然后计算差值：

$ r 'say (244 - 154) / (178 - 154)'
3.75

因此，使用$a.Int比使用Int($a)快大约 3.75 倍。 这当然可以开始另一个--profile循环，找出Int($a)慢得多的原因。 此外，当我看到我无法解释的速度差异时，我使用--profile来确定它是否真的在做我认为它正在做的事情。 特别是出乎意料的常量折叠有时会让您认为您找到了最佳优化，而实际上您将代码减少到基本上什么都不做。

HTH