用 googletest 进行基准测试？

Question

背景（如果不感兴趣，请跳到下面的问题）

我有一个运行三个状态的模拟器：

1. 单线程启动（I/O ok）
2. 多线程内存 CPU 绑定模拟阶段（I/O 不正常）
3. 后模拟、后加入单线程阶段（I/O ok）

有没有搞错！ 在标准测试期间，CPU 使用率从100% 下降到 20% ，总运行时间比正常情况长约30 倍（130 秒对 4.2 秒）。

当Callgrind没有发现任何可疑的东西时，我的脑袋嗡嗡作响，因为我正处于回滚到最后一次提交的边缘，失去了所有错误修复。

气馁，我在跑步时走进服务器机房，注意到令人讨厌的磨擦声，后来证实是由写入/proc/PID/fd 中的Mysql 套接字引起的！！！ 结果证明，在 Stage 2. 中的几层深的 Mysql 代码导致了问题。

得到教训

1. 意外 I/O 对实时应用程序可能是致命的
2. 单元测试还不够：我也需要基准测试

修复我将在 ReadAllowed() 和 WriteAllowed() 上引入线程本地存储 IOSentinels 和 asserts() 以确保 Stage 2 线程永远不会执行任何 IO。

题

任何人在使用 googletest 附加/编写基准测试框架方面有任何运气吗？

不幸的是，这次我所有的谷歌测试都通过了。 如果我离开一点然后在没有注意到运行时间的情况下回来，这将是一个灾难性的提交，并且可能更难修复。

如果运行时间超过上次运行时间的 2 或 3 倍，我希望 googletest 失败：这最后一部分很棘手，因为对于非常快速的运行，系统状态可能会导致某些东西花费两倍的时间但仍然可以。 但是对于长时间的模拟运行/测试，我不希望运行时间发生很大变化（> 50% 是不寻常的）。

我对这里的建议持开放态度，但是如果有一个可以与自动化测试一起使用的低维护检查会很好，所以如果系统突然变慢就会很明显，即使所有输出看起来都没有问题。

Answer 1

关于这个问题的一些更新（2016 年）：

1. 这是 Nick Brunn 关于他的Hayai基准测试框架的一篇不错的博客文章。 (2012)

   • 它不提供指定运行时间要求的可能性。
   • 它与谷歌测试非常相似。 语法等
   • 它向用户或持续集成框架提供基准测试结果。 还可以查看MojaveWastelander的 fork 以获取积极开发和 MSVC 支持。

2. 谷歌在2014 年发布了“基准” 。 这提供了与上面的 Hayai 类似的行为。 据我所知，定义需求是不可能的。 同样，语法受 GoogleTest 启发。

   • 甚至还有高级功能，例如测量复杂性 (big-O)。

3. GoogleTest 在Github上将此作为开放功能。 有一个基本的实现，但它还不是 GoogleTest 的一部分。

Answer 2

默认情况下，Google 测试框架建议对经过的时间进行度量。 它由环境变量GTEST_PRINT_TIME 。 此变量默认为1 。

那么，为什么不使用 Google Test 平台的这个功能来监控经过的时间呢？

这是关于 Google Test 中经过时间变量的一个词。

Answer 3

我在 v1.5.0 中这样做：

BENCHMARK(SomeBenchmark);
BENCHMARK(AnotherBenchmark);

TEST(MyTest, Benchmarks)
{
    ::benchmark::RunSpecifiedBenchmarks();
}

也就是说，我只是在其中一个 gtest 测试中直接调用 RunSpecifiedBenchmarks。

Answer 4

是不是就这么简单？

const clock_t t0 = clock(); // or gettimeofday or whatever
int res = yourFunction();
const clock_t t1 = clock();
const double elapsedSec = (t1 - t0) / (double)CLOCKS_PER_SEC;
EXPECT_EQ(EXPECTED, res);
EXPECT_GT(10.0, elapsedSec);

在这里，您需要根据您的任务手动更改10.0 。

当然，您可以通过以下方式更进一步：

double prev = -1;
{
  ifstream ifs("/var/tmp/time_record.txt");
  ifs >> prev;
}
if (prev < 0) prev = DEFAULT_VALUE;
// ...
EXPECT_GT(2 * prev, elapsedSec);
{
  ofstream ofs("/var/tmp/time_record.txt");
  ofs << elapsedSec << endl;
}

但我想知道这种额外的复杂性真的是合理的。